문항분석 이론에 의한 중학교 수학평가 학군간 차이 비교 연구

Abstract

입시에 내신성적 반영율이 늘어나고 있는 추세이다. 특히 중학교의 경우 98학년도부터 고입 연합고사를 폐지하고 내신성적만으로 진학하도록 하였다. 그 이유는 내신제가 과열과외 해소와 교육정상화에 기여하는 바가 크기 때문이다. 그러나 내신제가 고입 연합고사만큼 공신력이 있느냐 하는 의문점이 있다. 각 학교에서 실시되고 있는 시험이 얼마나 믿을만한 것인지 연구해 볼 필요가 있다. 본 연구는 고전검사이론 (classical test theory)과 문항반응이론 (item reponse theory)을 바탕으로 학군이 다른 세 학교 수학시험지의 질적차이를 분석하여 본 것이다. 분석을 위해 택한 수학시험지는 93년 중학교 1학년 1학기 기말고사이다. 표본을, 학군은 다르나 시험범위가 같은 세 학교이고 각각 학교1(동작), 학교2(동대문), 학교3(강남)이다. 문항수는 세학교 모두 25문항이고 피험자수는 각각 99명, 108명, 98명이다. 분석방법은 문항분석 프로그램인 PC-BILOG 프로그램이다. 연구내용은 첫째, 고전검사이론을 바탕으로 각 학교 시험지의 난이도, 변별도, 신뢰도, 오답지매력도를 구하여 학교간의 차이를 비교한다. 둘째, 문항반응이론을 바탕으로 각 학교 시험지의 난이도, 변별도, 추측도를 구하여 학교간의 차이를 비교한다. 세째, 피험자 능력추정 및 피험자의 능력을 얼마나 정확하게 추정하였는가의 정도를 알려주는 검사정보함수를 구하여 학교간의 차이를 비교한다. 연구결과, 고전검사이론과 문항반응이론에 의해 공통적으로 학교1(동작)이 가장 질이 좋지 못한 시험지이다. 고전검사이론에 의하면 학교1(동작)은 난이도, 변별도, 신뢰도가 세 학교 중 가장 낮다. 특히 신뢰도는 큰 차이를 보인다. 그리고 문항반응이론에 의해서도 학교1(동작)은 난이도, 변별도가 세 학교 중 가장 낮다. 또 검사정보는 학교 1(동작)이 거의 모든 능력수준에서 세 학교 중 가장 적다. 특히 최대검사정보는 2배 이상의 차이를 보인다. 고전검사이론의 신뢰도와 이에 대응하는 문항반응이론의 검사정보함수는 시험지가 학생들의 능력을 얼마나 정확하게 측정하느냐를 알려준다. 따라서 학교1(동작)의 시험지는 학교2(동대문)와 학교 3(강남)의 시험지와 질적인 면에서 큰 차이가 있음을 나타낸다. 고전검사이론에 의하면 학교 3(강남)이 학교2(동대문) 보다 좀 더 질이 좋고, 문항반응이론에 의하면 학교 2(동대문)가 학교 3(강남) 보다 좀 더 질이 좋다. 그러나 그 차이는 그다지 크지 않다. 본 연구는 학군이 다른 학교간에 평가도구의 질적차이가 있음을 시사한다. 따라서 각 학교의 교사들은 시험문항 제작시 이러한 차이를 줄일 수 있는 방향을 모색해야 한다. 그리고 학교간에 질적으로 차이가 나지않는 문항을 제작하도록 노력해야 한다. 이러한 노력으로 98학년도에 시행되는 고입 내신제는 좀 더 믿을만한 제도가 될 것이다.;The aim of this study is to compare the mathematics tests of middle schools in the other school district by using item analysis theory. This study analyzed test items of the test based on the classical test theory and item response theory in order to show whether there are differences between school groups and, if any, how much they are. Three schools, which belong to different school groups but have the same range of test, were selected for the data; also, the term tests of mathematics for the first grade were chosen for analysis. They are named School 1(Dong-Jak), School 2(Dong-Dae-Moon) and School 3(Kang-Nam), whose examinees are 99, 108, and 98 respectively. The test of each school is composed of the same twenty-five questions. The method of analysis was the item parameter estimation by the PC-BILOG program according to students' test papers. The results of this analysis are as follows: First, the school with the lowest average marks has the highest reliability, while the school with the highest average marks shows the lowest reliability. Therefore, average marks of each school don't indicate the examinees' ability properly. Third, Test Information Function based on item response theory shows that there are more than two times' differences between schools in the Maximum Test Information; the estimation of examinees' ability suggests big differences. Because there's a difference in the level of schools, it is absurd to think that the school record can be an indicator of the success and failure for the entrance to a high school. Therefore, the new kind of system of choosing students for the high school entrance should be introduced. Basically, it should be based on the school record and should be adequate and reasonable. Finally, keen competition among all the schools must be prevented.