View : 1027 Download: 0

대학수학능력시험 차등배점과 문항난이도모수와의 관계 분석

Title
대학수학능력시험 차등배점과 문항난이도모수와의 관계 분석
Authors
김지현
Issue Date
2000
Department/Major
대학원 교육학과
Publisher
이화여자대학교 대학원
Degree
Master
Abstract
The purpose of this study was to investigate the fairness of differential weighting for College Scholastic Ability Test(CSAT). This Study compared differential weighting with each item difficulty, and investigated correlation of four types of weighting method. And it was attempted to analyze item response vectors of examines which were changed rank by four methods. This study analyzed item response vectors of verbal section, Mathematics & Inquiry(I) and Foreign Language section. The date set was collected from real item response vectors of CSAT of 1999. Also this study analyzed 1000 item response vectors in each major fields and in each sections. To verify the fairness of the differential weighting for CSAT, item difficulties were investigated. The differential weighting of CSAT was not related with Item difficulty(20%~44%). Also item difficulties of same weighting items did not unified. This study investigated examines' abilities by four methods, raw score, the differential weighting of CSAT, ability score by item response theory and true score by item response theory. Especially correlation between raw score and score by differential weighting for CSAT was high, and also correction between ability score by item response theory and true score by item response theory was high. The correlation between methods was close to 1. In order words, four weighting methods lead to virtually the same results. However, each examinee had very different rank by methods. Raw score ranks were compared with the ranks of differential weighting score for CSAT. The result was that the half of examines' ranks were changed 1% or more. Ranks of differential weighting score for CSAT were compared with ranks of ability score by item response theory. The result was that 70% of examines' ranks were changed 1% or more. This result can influence college entrance. Differential item weighting of CSAT was given by subjective determination of experts. The experts distributed differential item weighting of items, considering item difficulty and importance. However, the result of analyzing item of CSAT was that differential item weighting of CSAT dithered form item difficulty. And ability score by item response theory was different from differential weighting score of CSAR. As the result weighting method influence score of CSAT on each examines. The differential weighting of CSAT is determined by the result of item analysis.;이 연구에서는 대학수학능력시험에서 부여하고 있는 차등배점을 분석하고 다른 방법으로 점수를 산출하면 그 결과가 어떻게 되는지 알아보았다. 문항의 난이도를 산출하여 대학수학능력시험의 차등배점의 관계를 알아보고 점수산출 방법을 달리 했을 때 결과가 어느 정도 달라지는지 방법간의 상관을 산출하였으며 방법에 따라 등위의 차이가 많은 학생을 추출하여 응답 패턴을 분석하였다. 대학수학능력시험의 네 영역 중 수리탐구 II 영역은 자료의 일차원성 가정이 충족되지 않으므로 제외하고 언어영역과 수리탐구 I영역, 외국어영역의 세 영역의 결과만을 분석하였다. 대학수학능력시험은 문항을 동일하게 합산하지 않고 난이도와 중요도를 고려하여 차등배점을 부여한다. 난이도와 중요도는 전문가가 주관적으로 판단하며 시험을 시행하기 전 배점을 부여한다. 그러므로 전문가의 판단이 잘 못될 경우 결과에 중대한 영향을 미칠 수 있다. 첫 번째로 문항의 난이도와 문항의 배점을 분석한 결과 전 영역, 전 계열에서 최소 20%에서 최대 44.6%까지 문항의 난이도와 차등배점이 일치하지 않았다. 대학수학능력시험의 차등배점은 대체적으로 예상난이도와 문항의 중요도를 고려하여 부여한다. 그러나 각 문항의 난이도에 등위를 부여하여 차등배점과 비교한 결과 난이도와 차등배점 사이에 관련 없는 문항이 많이 있었다. 또한 같은 배점이 부여된 문항이라도 난이도의 차이를 보여 동일배점 문항의 난이도의 통일이 미약한 것으로 나타났다. 수리탐구 I영역은 배점간 차이가 1.0으로 다른 영역에 비해 크기 때문에 차등배점이 점수에 미치는 영향이 커진다. 다른 영역의 차등배점은 언어영역이 0.2, 외국어영역이 0.5의 간격으로 이루어져 있어 수리탐구 I 영역에 비해 작으나 점수를 합산하면 총점에서는 차이가 생긴다. 학생의 능력은 문항수의 단순 합산 점수와 대학수학능력시험의 차등배점 합산 점수, 문항반응이론의 능력점수, 문항반응이론의 문항모수와 능력모수를 이용하여 산출한 진점수의 네 가지 방법으로 산출하였다. 각 방법간의 상관은 전 영역, 전 계열에서 95이상이었으며 특히 등위상관에서는 능력점수와 진점수의 상관이 1.00으로 나타났다. 즉, 점수의 합산 방식을 바꾸어도 방법간의 점수와 등위의 차이는 거의 없었다. 각 방법간 점수와 등위의 상관은 매우 높았으나 학생 개개인은 방법간에 등위변동이 많은 것으로 나타났다. 방법간의 등위변동을 분석한 결과 원점수와 차등배점점수의 비교에서 50%이상 학생의 백분위 등위가 1% 이상 변동되었으며, 차등배점점수와 능력점수의 등위비교에서는 1% 이내의 백분위 등위 변동을 보이는 학생은 전체의 30%미만이었으며 2%이상의 등위변동을 보이는 학생이 전체의 50%에 이르렀다. 또한 최대로 차이가 있는 학생은 백분위 등위가 5%, 10%이상의 변동을 보이는 경우도 있었다. 이러한 결과는 점수를 합산하는 방법이 바뀔 경우 대학입학의 당락이 달라질 수 있다는 것을 의미한다. 즉, 전체적으로 방법간의 차이는 없었으나 대학입시와 같이 전체적인 결과보다 개기인의 결과에 주목하고 고부담(high stake)평가일 경우에는 매우 심각한 문제가 될 수 있다. 이 연구에서 대학수학능력시험의 결과를 대학수학능력시험의 배점이 아닌 시험결과 분석에 의해 점수를 합산하면 결과에 많은 차이를 가져올 수 있다는 것을 알 수 있었다. 전문가의 주관적인 판단에 의해 문항배점을 부여할 경우 활용목적에 맞는 차등배점을 부여할 수 있다는 장점이 있는 반면 객관적인 결과에 의한 것이 아니므로 차등배점 준거의 타당성이 결여되면 차등배점으로 합산된 결과에 의해 많은 학생이 불이익을 받거나 부당하게 과대평가될 수 있다. 그러므로 대학수학능력시험의 차등배점은 주관적인 판단에 의해 직관적으로 부여할 것이 아니라 문항분석의 결과와 문항특성에 대한 이해를 근거로 하여 배점을 부여할 때, 학생의 능력을 보다 정확하게 추정하고 그 결과에 의한 대입 경쟁이 보다 공정할 수 있을 것이다.
Fulltext
Show the fulltext
Appears in Collections:
일반대학원 > 교육학과 > Theses_Master
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

BROWSE