초등학교 학업 성취도 평가지 문항 분석 및 피험자 능력 추정

Abstract

교육 평가란 교육적 효과의 극대화를 위하여 정보를 얻는 행위이다. 그러나 그동안 우리 나라 초등학교 교육 현장에서는 객관식 문항 위주의 지필검사가 획일적으로 이루어져 왔으며 그에 따른 평가의 역기능이 교육에 미치는 영향이 심각해지고 있다. 그래서 이를 해결하기 위한 여러 가지 노력이 시도되었는데 그 중에서도 초등학교 일선 교사들에게 가장 강조된 것은 다양한 평가 방법의 활용이라 할 수 있다. 그러나 평가 방법의 전환은 강조된데 비하여 평가도구 즉 평가 문항의 질을 향상시키려는 구체적인 노력은 매우 미흡한 실정이다. 이에 본 연구는 초등학교에서 과학적으로 타당하고 신뢰로운 평가도구 제작 및 활용을 위하여, 문항의 질을 분석하는 검사이론인 고전검사이론과 문항반응이론에 의하여 평가도구를 분석해 보고, 문항 특성 및 피험자 능력 추정에 있어 두 이론간의 차이를 비교하여 보았다. 국립교육평가원에서 출제한 1995년도 국민학교 학업 성취도 평가 중 4학년 사회과 25문항에 대한 534명의 실제 응답 자료를 BILOG 컴퓨터 프로그램을 이용하여 분석한 결과는 다음과 같았다. 첫째, 고전검사이론에 의해 검사도구의 문항 특성 및 신뢰도 계수를 추정한 결과 이 검사도구는 전체적으로 문항난이도가 적절하고 문항변별력이 좋았으며, 신뢰도 계수도 높았다. 단 25문항 중 4번 문항이 문항변별도가 매우 낮아 수정되거나 삭제되어야할 문항으로 분석되었다. 둘째, 문항반응이론에 의해 검사도구의 문항 모수치와 검사정보함수를 추정한 결과는 고전검사이론에 의한 문항 특성 및 신뢰도 계수의 분석 결과와 거의 비슷하였다. 그러나 고전검사이론은 문항 특성과 신뢰도 계수에 대한 수치만을 제공하였으나, 문항반응이론은 각 문항과 검사도구가 어느 능력 수준의 피험자에게 적절했는가에 대한 정보도 함께 제공하였다. 셋째, 피험자의 능력 추정에 있어 고전검사이론은 피험자 능력이 검사도구에서 획득한 점수의 총합에 의해 4점에서 100점사이, 평균은 60.24점으로 추정되었으며, 문항반응이론은 피험자 능력이 -2.7818에서 2.4113사이로 추정되었는데 정답을 맞힌 문항의 수가 같은 피험자라도 문항의 난이도, 변별도, 추측도를 고려하여 능력을 다르게 추정하였다. 그러므로 피험자의 능력을 추정하는 과정이 고전검사이론 보다 더 합리적이라고 할 수 있다. 따라서 초등학교에서 과학적으로 타당하고 신뢰로운 합리적인 평가 활동을 전개해 나가기 위해서는 먼저 평가도구 제작자가 양질의 평가도구를 제작하는데 필요한 전문적 지식을 갖추어야 하며, 제작된 평가도구는 검사이론에 의해 질이 규명되는 단계를 반드시 거쳐 문항에 대한 질적 관리가 이루어져야 한다. 문항반응이론에 의하여 평가도구를 개발하면 피험자 집단의 특징에 의해 변하지 않는 문항 고유의 모수치에 의해 문항을 선정할 수 있으며, 피험자의 능력을 더 정확하게 추정할 수 있는 평가도구를 제작할 수 있다. 그 동안 총점 방식에 의한 평가 결과의 해석이 피험자들에게 무엇을 알고 모르느냐가 아닌 몇 개를 맞고 틀렸느냐의 수량적 사고를 조장한다는 비판이 있었는데 문항반응이론에 의하여 피험자의 능력을 추정한다면, 이러한 문제점도 해소될 수 있을 것이다. 고전검사이론은 대부분의 검사 자료에 광범위하게 적용될 수 있다는 장점이 있으므로 문항을 분석하는데 문항반응이론과 함께 활용하는 것이 바람직하며, 끝으로 초등학교에서 평가의 주체인 교사들에게 검사이론을 활용한 검사도구의 분석과 피험자 능력 추정의 중요성을 인식시키기 위한 현장 연수가 활발히 이루어져야 할 것이다.;In this study, this researcher tried to analyze the achievement test of primary school by the classical test theory and the item response theory, and compared the difference between two theories in estimating item and ability parameters. The result to have analyzed the pratical data of 534 persons about 25 items at the social subject in the 4th grade out of the achievement test at primary school in 1995 by using BILOG computer program is as follows; First, according t o the classical test theory, in this achievement test, the item difficulty was proper, the item discrimination was good, and the reliability coefficient was high on the whole. But, out of 25 items, No 4 item was analyzed as the item to have to be revised and deleted, as the item discrimination was very low. Second, the result which estimated the item parameter and test information function of achievement test by the item response theory was almost similar to the analysis result by the classical test theory. Then, additionally, the item response theory supplied with the information as to for which level of subject each item and achievement test were suitable. Third, in estimating the ability of subject , the classical test theory was between 4 points and 100 points by the total of score that the subject acqired from achievement test. And, the mean was estimated as 60.24 points. And, the subject ability parameters by the item response theory was estimated between -2.7818 to 2.4113. Even in case of the subject that the number of item that which got correct answer is same, the ability was estimated differently by considering the relative difficulty, discrimination and guessing. Thus, so as to unfold the adeqate, reliable and rational evaluation activity, manuefaturer must have the proffesional knowledge which is necessary for manufacturing the quality achievement test, the management on item must be made by passing the stage that the quality is examined closely by test theory surely. If one develops the achievement test by the item response theory, one may choose the item by the item parameter which doesn't change on the basis of the feature of subject group, and the achievement test to be able to estimate the ability of subject more exactly may be manufactured. In the meantime, there was the criticism that the interpretation of evaluation result by the total score method fosters the thinking of quantity characteristic which is not "How do the subjects know?" but "How much did they get" to them. Then, to estimate the ability of subject by the item response theory, this point at issue will be able to be solved. The classical test theory had the merit to be able to be applied to most test data widely. So, it is desirable to utilize it with the item response theory in analyzing the item. And, lastly, the onsite research study for making the teachers who are main evaluator recognize the importance of the analysis of achievement test which utilized the test theory and estimation of subject ability will have to be made actively at primary school.