대학수학능력시험 제6차, 제7차 실험평가의 문항특성과 피험자능력 동등화

Abstract

본 연구는 문항반응이론에 의한 검사특성곡선 방법으로 대학수학능력시험 제 7차 실험평가의 문항특성과 피험자 능력을 대학수학능력시험 제6차 실험평가의 척도로 동등화하여 어느 시험이 더 어렵고. 변별력 있으며 또한 추측이 높은가를 비교하였다. 또한 대학수학능력시험 제7차 실험평가에서 피험자의 능력 추정치는 제6차 실험평가의 어느 수준의 능력 추정치와 같은지를 분석하고, 두 실험평가에 참여한 피험자의 능력을 집단별로 비교한다. 대학수학능험시험 제6차와 제7차 실험평가에 참여한 전체 피험자로서 제6차에서는 93,064명과 제7차에서는 187,743 증 999명을 무선추출하여 연구자료로 사용하였으며 대학수학능력시험 제6차와 제7차 실험평가에서의 동형문항을 가교문항으로 설정하기 위하여 문항의 내용분석과 문항반응이론에 의한 문항모수치를 재척도화 하여 가교문항을 선정하였고 검사특성곡선 방법을 알고리즘으로 제작된 EQUATE 프로그램으로 대학수학능력시험 제7차 실험평가의 문항특성과 피험자 능력을 대학수학능력시험 제6차 실험평가로 동등화하였다. 대학수학능력시험 제7차 실험평가의 문항특성과 피험자 능력을 대학수학능력시험 제6차 실험평가의 척도로 동등화한 결과는 다음과 같다. 언어영역에 있어서 평균 문항변별도는 제7차 실험평가가 제6차 실험평가보다 낮았으며 평균 문항난이도는 제7차 실험평가가 제6차 설험평가보다 낮았고 평균 문항추측도는 제7차 실험평가가 제6차 실험평가보다 높았다. 언어영역의 제7차와 제6차 실험평가의 문항특성을 종합하여 검사특성을 비교하면 제7차 실험평가는 능력수준이 낮을 때는 제6차와 변별력이 비슷하지만 능력이 높을수록 제6차보다 피험자 능력을 잘 변별하지 못하였고 제7차 실험평가가 제6차보다 쉬운 검사로 분석되었다. 또한 제7차 실험평가가 제6차보다 검사의 추측도가 높으므로 종합적으로 언어영역은 제6차 실험평가가 제7차 실험평가보다 양질의 검사라고 할 수 있다. 제7차 실험평가에 참여한 피험자 능력을 제6차 실험평가에 참여한 피험자 능력척도로 동등화 했을 때 능력수준 4.0을 기점으로 그 미만의 능력수준에서는 제7차 실험평가의 피험자 능력치가 제6차보다 낮았지만 그 이상의 능력수준에서는 제6차 실험평가의 피험자 능력치보다 높아졌으며 제7차 실험평가의 평균 피험자 능력이 제6차 실험정가의 평균 피험자 능력보다 낮았다. 탐구B(사회탐구) 영역에 있어서 평균 문항변별도는 제7차 실험평가가 제6차 실험평가보다 낮았으며 평균 문항난이도는 제7차 실험평가가 제6차 실험평가보다 높았다. 또한 평균 문항추측도는 제7차 실험평가가 제6차 실험평가보다 낮았다. 탐구B(사회탐구)의 제7차 실험평가와 제6차 실험평가의 문항특성을 종합하여 검사특성을 비교하면 능력수준이 낮을 때는 제7차 실험평가와 제7차 실험평가의 변별력이 비슷하지만 능력이 높을수록 제7차 실험평가가 제6과 실험평가보다 피험자 능력을 잘 변별하지 못한다. 검사의 난이도에 있어서 제7차 실험평가가 제6차 실험평가보다 더 어려운 검사로 분석되었으며 검사의 추측도는 제7차 실험평가가 제6차보다 낮았다. 제7차 실험평가에 참여한 피험자 능력을 제6차 실험평가에 참여한 피험자 능력척도로 동등화했을 때 능력수준 -1.0을 기점으로 그 미만의 능력수준에서는 제7차 실험평가의 피험자 능력치가 제6차보다 낮았지만 그 이상의 능력수준에서는 제6차 실험평가의 피험자 능력치보다 높아졌으며 제7차 실험평가의 평균 피험자 능력이 제6차 실험평가의 평균 피험자 능력보다 낮았다. 외국어 영역에 있어서 평균 문항변별도는 제7차 실험평가가 제6차 실험평가 보다 낮았으며 평균 문항난이도 또한 제7차 실험평가가 제6차 실험평가보다 낮았다. 평균 문항추측도는 제7차와 제6차 실험평가가 유사하였다. 외국어 영역의 제7차와 제6차 실험평가의 문항특성을 종합하여 검사특성을 비교하면 낮은 능력 수준과 높은 능력수준에서 제7차와 제6차 실험평가의 변별력은 유사하지만 중간 정도의 능력수준에서는 제7차 실험평가가 제6차 실험평가보다 변별력이 떨어졌다. 또한 검사난이도에 있어서 제7차 실험평가가 제6차 실험평가보다 더 쉬운 것으로 분석되었고 검사의 추측도는 두 검사가 유사하였다. 검사특성곡선을 종합하여볼 때 언어영역과 탐구B(사회탐구) 영역 그리고 외국어 영역중 가장 동형적인 검사는 외국어 영역이라 할 수 있다. 제7차 실험평가에 참여한 피험자 능력을 제 6차 실험평가에 참여한 피험자 능력척도로 동등화 했을 때 능력수준 -3.0을 기점으로 그 미만의 능력수준에서는 제7차 실험평가의 피험자 능력치가 제6차보다 낮았지만 그 이상의 능력수준에서는 제6차 실험평가의 피험자 능력치보다 높아졌으며 제7차 실험평가의 평균 피험자 능력이 제6차 실험평가의 평균 피험자 능력보다 높았다. 본 연구에서 동등화를 위한 같은 문항이 대학수학능력시험 제6차와 제7차 실험평가에 포함되어 있어야 했으나 실제 대학수학능력시험 실험평가에 같은 문항이 존재하지 않으므로 각 영역의 내용분석과 문항분석을 통하여 동형문항을 가교문항으로 설정한 연구의 제한점을 지니고 있다. 그러나 본 연구를 통하여 94학년도에 두 번 실시될 대학수학능력시험이 얼마나 동형적인 검사로 제작할 수 있는가를 알아볼 수 있고, 두 대학수학능력시험에 참여한 피험자들의 능력을 동일척도로 추정하여 피험자들의 능력을 상호비교함으로써 대학신입생 선발의 타당성을 높일 수 있다.;The purpose of this study is to equate from the item characteristics and examinee ability in three subtests of the seventh tryout of College Scholastic Ability Test (CSAT) to those of the sixth tryout of CSAT. Three subtests are Verbal, Social Inquiry and Foreign Language of two tryouts of CSAT. To equate item characteristics and the examinee alilty or the seventh tryout of CSAT to the sixth tryout of CSAT, this study used the EQUATE program which was written with algorithm of Test Characteristic Curve Method. For this study, the data of 999 examinees was randomly selected from the data of total examinees of 93.064 in the sixth and 187.743 in the seventh tryout of CSAT. As a result of this study for the Verbal subtest, the mean of item discriminations of the seventh tryout was lower than that of the sixth. And the mean of item guessing of the seventh tryout was higher than that of the sixth. The test characteristic curve of the seventh was less sharp than the sixth when the abilities were higher and the seventh was more easy and the test guessing of the seventh tryout was higher than the sixth. Overall, the sixth tryout was better than the seventh. The mean of abilities of examinees taking the seventh tryout was lower than that of the sixth. For the Social Inquiry subtest, the mean of item discriminations of the seventh tryout was lower than that of the sixth and the mean of item difficulty of the seventh tryout was higher than that of the sixth. And the mean of item guessing of the seventh tryout was lower than that of the sixth. The test characteristic curve of the seventh was less sharp than the sixth when the abilities were higher and the seventh was more difficult and the test guessing of the seventh tryout was lower than the sixth. the mean of abilities of examinees taking the seventh tryout was lower than that of the sixth. For the Foreign Language, the mean of item discriminations of the seventh was lower than that of the sixth and the mean of item difficulty of the seventh tryout was also lower than that of the sixth. And the mean of item guessing of the seventh tryout was similar with that of the sixth. The test characteristic curve of the seventh was more easy and the test guessing of the seventh tryout was similar to the sixth. Overall the Foreign Language subtest among the three subtest of CSAT, was constructed almost parallel form test. The mean of abilities of examinees taking the seventh tryout was high than that of the sixth. This study has restrictions in that establishing parallel items to be anchor items and not verifying whether the sixth, the seventh tryout of CAST meet the unidimensional assumption.