이분반응모형과 등급반응모형에 의한 문항특성과 피험자능력 추정의 정확성

Abstract

The purpose of this study was to investigate the accuracy of estimation for the item and ability parameters via the Graded Response Model for polychotomously-scored item and the Dichotomous Response Model for dichotimously-scored item. This study compared the accuracy of the estimation for the item and the ability parameters through the Graded Response Model to those through the Dichotomous Response Model. MULTILOG computer program was used to estimate the item and ability parameters. This study analyzed the real and 27 sets of simulated data. The real data is the item response vectors whose 997 examinees was randomly selected from the data of total examinees of 187,740 in the multiple-choice test, the Foreign Language subtest of the seventh tryout of College Scholastic Ability Test(CSAT). Simulated data sets are the item response vectors of 1,000 examinees for 20 items having 4 ordered categories. Simulated item response vectors (3, 2, 1, 0) were generated by GENIRV computer program. In each case of fixing the item discrimination and item difficulty parameters, 3 sets of data were generated under the graded response model. The discrimination parameters varied 'low', 'moderato', 'high' by being fixed the average and standard deviation of the test discrimination. The difficulty parameters varied 'easy', 'medium', 'difficult' by being fixed the average and standard deviation of the test difficulty. The root mean square error, the correlation between the parameters and the estimates and Cronbach a were calculated to determine the accuracy of estimation for each of the item response models. In addition, test information at each level of the ability were computed to determine the accuracy of measuring examinee's ability. As the result of this study for the Foreign Language subtest, the ability level of each examinees and the most test information from graded model was a little higher than the ones from dichotomous model. The graded response model estimated the examinee's ability parameter more accurately than the dichotomous response model. The results shows that the graded response model could be successfully used to analyze the multiple-choice test. The results of the analyses for the simulated data sets were as follows. First, there is no systematic finding for estimating the item parameters through both model. Second, graded response model estimated the examinee's ability more accurately than dichotomous response model. In other words, ability was more accurately estimated by applying graded model to the test than dichotomous model. Last, the error of item parameters estimation in graded model did not result in poor ability parameter estimation.;현재 대부분의 교육·심리 검사에서 피험자의 반응을 이분하여 점수화하며 선다형 문항으로 이루어진 검사일 경우에는 더욱 그러하다. 검사에 참여한 피험자들의 반응을 정답과 오답으로 이분하면 중단 단계의 능력을 간과하기 때문에 측정의 정확성이 떨어진다. 피험자의 반응을 정답과 반응과 오답 반응으로 이분하지 않고 그 이외의 반응을 포함하여 세 개 이상으로 세분한다면 이러한 단점을 극복할 수 있다. 본 연구는 이분반응모형과 등급반응모형을 사용하여 검사에 응답한 피험자의 반응을 이분적으로 채점하는 경우와 다분적으로 채점하는 경우의 문항특성 추정의 정확성과 피험자 능력 추정의 정확성을 비교하였다. 대학수학능력시험 제 7차 실험평가에 참여한 187,740명 중 997명을 무작위 추출하여 그들이 외국어(영어) 영역에 응답한 결과와 변별도와 난이도가 상이한 27개의 모의 반응 자료를 연구자료로 사용하였다. 모의 자료에 있어서 20문항으로 되어있는 검사의 평균 문항 변별도를 '낮다', '적절하다', '높다'로 변화시켰으며, 검사의 평균 문항 난이도를 '쉽다', '중간이다', '어렵다'로 변화시켰다. 모의 반응 자료는 능력분포가 표준 정규분포인 집단에서 1,000명의 피험자를 무선추출한 것이다. 국립교육평가원에서 출제한 대학수학능력시험 제 7차 실험평가는 5지선다의 이분문항으로 구성되어 있으므로 등급반응모형을 적용하기 위하여 내용전문가의 주관적 판단과 답지분포를 근거로 피험자의 반응을 3개의 범주로 다분하였다. 한편 모의 자료는 4개의 범주로 다분되어 있기 때문에 이분반응모형을 적응하기 위하여 가장 높은 범주에 속하는 정답으로, 그 이외의 범주에 속하면 오답으로 간주하여 피험자의 반응을 이분하였다. 대학수학능력시험 제 7차 실험평가 외국어 영역의 이분반응모형과 등급반응 모형에 의한 문항특성과 피험자 능력을 추정하여 피험자 능력 추정의 정확성을 비교한 결과 다음과 같은 결론을 얻었다. 이분반응모형보다 등급반응모형이 피험자 능력모수를 조금씩 높게 추정하였고, 피험자의 반응을 이분하지 않고 다분하는 편이 피험자의 능력을 보다 정확하게 추정하였다. 선다형 문항 검사에 등급반응 모형을 적용하여 검사 결과를 분석하는 것이 유용하며 이분반응모형보다 피험자의 능력을 잘 변별할 수 있다. 결과적 난이도와 변별도가 다양한 9개의 조건에서 3개씩 생성한 모의자료에 있어서 이분반응모형과 등급반응모형에 의한 문학특성 추정의 정확성, 피험자 능력 추정의 정확성을 비교하여 얻은 결론은 다음과 같다. 첫째, 문항변별도 추정과 문항난이도 추정에 있어서 이분반응모형이 등급반응모형보다 오차가 적었다. 둘째, 이분반응모형에 의해 피험자의 능력을 추정하는 것보다 등급반응모형에 의해 피험자의 능력을 추정하는 면이 더 정확하게 추정하였으며, 난이도가 일정할 때 변별력이 높을수록 능력추정의 정확성이 높아졌고, 그 정확성의 차이 또한 커졌다. 셋째, 등급반응모형의 문항모수 추정 오차는 켰지만, 능력모수 추정의 정확성은 높았던 것으로 보아 문항모수 추정의 오차가 피험자 능력 추정의 정확성에 큰 영향을 미치는 것은 아니라고 할 수 있다. 본 연구는 영어 영역의 선다형 검사만을 대상으로 등급반응모형을 적용하였으나, 등급반응모형은 수학 분야, 언어 능력 분야에서 듣기 능력 검사, 작문 능력 검사, 말하기 능력 검사 등 여러 분야 검사에 적용할 수 있으며, 서답형 검사와 Likert 척도 등 다양한 검사 환경에도 적용 가능하다. 실제 교육 현장의 다양한 영역검사에서 등급반응모형을 사용하는 것이 유용하리라 본다. 어떠한 기준에 의하여 피험자의 반응을 및 단계로 구분되어야 하는지를 신중히 결정하여야 하는데, 정답과 오답으로 피험자의 반응을 이분하는 선다형 검사인 대학수학능력시험 제 7차 외국어(영어) 영역에 응답한 피험자의 반응을 다분하기 위하여 본 연구의 판단 준거에 의하여 답지의 단계를 설정하였다는 연구의 제한점을 지니고 있다. 본 연구를 위한 모의 자료는 문항 수를 20으로 고정하여 생성되었는데 검사의 길이가 다양한 조건에서 등급반응모형의 모수치 추정에 관한 연구가 후속되어야 할 것이다.