중학교 수리적성영역 검사에 대한 Modified-Angoff와 Bookmark 준거설정 방법 비교

Abstract

본 연구의 목적은 두 가지 준거설정 방법을 비교 분석하여 학교 현장에서의 적용 가능성을 탐색하고자 하는 것으로, 다양한 준거설정 방법들 중에서 현재까지 보편적으로 사용되고 있는 Modified-Angoff 방법과 문항반응이론을 적용한 Bookmark 방법을 사용하여 분할점수를 산출 및 비교하였다. 검사자료로는 ‘종합진로직업적성검사(CACV)-중학생용(성태제, 2016)’을 사용하였으며 현직 교사와 평가전문가 5명으로 준거설정자를 구성하였다. 성취수준명 및 성취수준 기술에 대한 검토 결과 성취수준은 기초미달, 기초, 숙달로 총 3개의 범주로 분류되었으며 산출해야할 준거점수는 2개로 결정되었다. 먼저 Modified-Angoff 방법에 의해 준거설정을 실시한 결과, 1차 평정에 비해 2차 평정에서 준거설정자들 간 점수의 표준편차가 줄어들었으며 성취수준별 분할점수는 모두 조금씩 높아지는 경향을 보였다. Bookmark 방법에 의한 결과 역시 1차 평정보다 2차 평정의 표준편차가 줄어들었으나, 2차 평정에서 ‘기초미달-기초’를 분할하는 점수가 다소 낮아졌다. 또한 Modified-Angoff 방법에 의해 설정된 분할점수가 Bookmark 방법에 비하여 높게 나타났다. 성취수준별 학생분류비율의 비교 결과, Modified-Angoff 방법에서는 1차 평정에서 2차 평정으로 가면서 ‘기초’집단의 비율은 높아지고 ‘숙달’집단의 비율은 낮아졌으며, Bookmark 방법에서는 1차와 2차에서 분류비율에 차이가 나타나지 않았다. 또한 Modified-Angoff 방법에서는 ‘기초’집단의 비율이 높았으며 Bookmark 방법에서는 ‘숙달’집단의 비율이 높았다. 준거설정자내 분류 일치도의 분석 결과 Modified-Angoff와 Bookmark 방법 모두 대체로 높은 수준의 일치도를 보였으며, 특히 Bookmark 방법의 경우 완전히 일치하였음을 알 수 있다. Modified-Angoff 방법의 준거설정자간 분류 일치도는 1차 평정의 결과와 비교해보았을 때 2차에서 전반적으로 높아지는 경향을 보였고, Bookmark 방법의 준거설정자간 일치도는 1차와 2차 모두 완전히 일치하는 결과를 나타냈다. 두 가지 방법간 일치도는 1차와 2차 평정 모두 양호하였으며, 1차에서는 Modified-Angoff 방법에서 ‘기초’로 분류되었던 17명이 Bookmark 방법에서 ‘숙달’로 분류되어 차이가 나타났으나, 2차에서는 완벽히 일치하는 결과를 보였다. 즉, 1차 평정에 비해 2차 평정에서 방법간 일치도가 높아졌음을 알 수 있다. 결론적으로 학교 교사들을 준거설정자로 선정하여 준거를 설정함에 있어서 Modified-Angoff 방법과 Bookmark 방법이 실제적으로 적용하기에 용이하였다. 따라서 국내외 교육 분야에서 보편적으로 사용되는 Modified-Angoff 방법과 문항반응이론에 기초한 Bookmark 방법을 사용하고, 두 방법에 의한 결과를 비교하여 볼 것을 권장한다. 특히 Bookmark 방법은 문항별로 준거를 설정하는 것이 아니라 문항순서집에 의하여 준거점수를 결정하므로 준거설정자간의 점수 차이가 적어 보다 안정적인 준거를 설정할 수 있다. 단, Bookmark 방법을 원활히 적용하기 위해서는 문항반응이론에 대한 기초적인 이해가 필요하다.;The purpose of the study was to compare cut scores by the Modified-Angoff method and Bookmark method and check for application of these methods to the school site. The data for this study were 276 middle school students’ answers of the math part of ‘Comprehensive Assessment for Career development and Vocational interest(CACV)’. Three full-time math teachers and two assessment specialists were participated in standard settings. The achievement levels were divided into three categories and two cut scores were needed to be calculated. First, as a result of the standards setting by the Modified-Angoff method, the standard deviation of the score among the raters in the secondary rating was lower than that of the primary rating, and the score of the achievement level tended to be slightly higher. The results of the Bookmark method also showed that the standard deviation of the secondary rating was lower than that of the primary rating, and the score of dividing the 'below basic - basic' in the secondary evaluation was somewhat lowered. In addition, the cut score set by the Angoff method is higher than the Bookmark method. In the Modified-Angoff method, the proportion of 'basic' group was lower and the percentage of 'proficient' group was lowered from the first to the secondary grading, There was no difference in classification ratios. Also, in the Angoff method, the ratio of 'basic' group was higher, and in Bookmark method, the ratio of 'mastery' group was higher. The results of the analysis of the classification consistency in the raters showed that both the Modified-Angoff and the Bookmark method demonstrated a high degree of agreement, and in particular, the Bookmark method completely matched. The Angoff method showed a tendency to increase in the secondary than in the primary evaluation, and the agreement between the raters of the Bookmark method was completely consistent with the first and the second rating. The agreement between the two methods was good in both the first and second grading. In the first grading, 17 subjects classified as 'basic' in the Modified-Angoff method were classified as 'proficient' in the Bookmark method, and the second rating showed perfect agreement. In other words, the higher the level of equality between the two, the higher the ratio is. This study shows applicability for standard setting using Modified-Angoff method and Bookmark method by teachers in school settings. In addition, the study suggested that school teachers have to understand procedures for test construction of criterion reference assessment in order to setting cut scores.