Angoff와 북마크 방법에 의한 준거설정의 적용가능성 비교

Abstract

With the advance of public education, the evaluation tools for measuring students' achievement. Norm-referenced tests were applied to select and allocate students efficiently. However, the criterion-referenced tests were taken into account for addressing the national concern about educational progress, educational accountability, and the shortcoming of standardized tests in the 1980s, thus the use of criterion-referenced test have increased(Ward & Murray, 1999). The criterion-referenced test is a method evaluating students' achievement by absolute criterions. Since the criterion-referenced test focuses in a student's current ability rather than relative comparison among students, it is suitable for the current education curriculum which diversifies education contents and methods according to student's ability, aptitude, and future career path. It is also more appropriate in the context of "user-oriented education." The criterion-referenced test is generally used for conferring qualification and certification in the large scale evaluation such as national or state exams. By applying the criterion-referenced test in a classroom environment, student's achievement could be accurately analyzed and the level-based education could be enhanced. Therefore it is important to understand student's achievement accurately by evaluating it through standard-settings established by the educators. The purpose of this study is to detect the necessity and the applicability of standard-setting. To this end, modified Angoff methods(one not offering the correct answer ratio and the other offering the correct answer ratio) and Bookmark method were adopted in setting the standards. Through these methods the cut scores and the difference in student ratio were confirmed at each level(high/middle/low), and the panelists who set the standards were surveyed. The math test and answer data of the 2004 high school placement test in Seoul were used, and the results were as follows: Regarding the cut scores and standard deviations of the three standard-setting methods, the cut scores calculated by the modified Angoff methods were similar in the 'high' level and 'middle' level but were different from the cut score of the bookmark method. There was also difference in the proportion of students in each level between the modified Angoff methods and the bookmark method. Comparing the classification(high/middle/low) of the three standard-setting methods conducted by agreement statistics, the methods providing the item difficulty characters(the modified Angoff method offering the correct answer ratio and the bookmark method) showed the highest agreement level in the first and second round. In the last round, on the other hand, the methods reflecting the characteristics of the items(the modified Angoff method offering the correct answer ratio and the modified Angoff method not offering the correct answer ratio) showed the highest agreement level. Regarding the inter-panelists agreement, the agreement level increased from the first round to the second round but showed no difference between the second and third round in the two modified Angoff methods. However, the inter-panelist agreement level of the bookmark method steadily increased from the first to the third round. Therefore, the panelists confidence in the standard-setting is formed faster in the modified Angoff methods than the bookmark methods, and the modified Angoff methods is more efficient in terms of the number of rating rounds. Lastly, regarding the applicability of the standard setting method, most of the panelists answered that bookmark method was easier in understanding the concept and process. According to the survey, bookmark method was not only time efficient but also better in discussing about setting the standard given the same time. Most of the panelists answered that modified Angoff method offering the correct answer ratio was very appropriate followed by bookmark method and modified Angoff method not offering the correct answer ratio. The panelists answered that the two modified Angoff methods were better than the bookmark method in the student classification. Most of the respondents answered that the Angoff method offering the correct answer ratio was suitable followed by modified Angoff method not offering the correct answer ratio and bookmark method in the curriculum, Regarding the suitability of standard-setting method in the classroom environment, the panelists thought the bookmark method was more suitable than the others. In the faculty of standard-setting method in the classroom environment, the panelists thought the bookmark method and the Angoff method offering the correct answer ratio was more suitable than the other. When setting the standards, the panelist thought the most important factor was the definition of the minimal competency students at each levels. The next important factor was other panelist's opinion followed by the proportion of the students classified in the high/middle/low group and statistical information about items and tests. The respondents thought that reaching to an agreement about the minimal competency at each level was most difficult, and responded that it is caused by the differences in regions, schools, and pre-learning level. All the panelists agreed to the need of applying standard setting methods in the educational field. Most of the respondents had positive prospect toward the applicability of the standard setting in the educational field. The criterion-referenced tests are usually performed in the large-scale assessment, but they are also needed in a school environment and can be applied. In order to successfully adopt the criterion-referenced tests in school environment, more in depth studies about practical achievement level setting, various empirical researches, the subject-based standard-setting methods, and bookmark method using item mapping are necessary. Also the validity of the standard-setting methods must be proven by testing the predictive validity. In addition, more information about standards and criterion-reference tests should be given to the educators in order to provide more accurate evaluation tools in the school environment.;공교육의 발달과 함께 학생의 선발·배치의 상황에서 평가결과를 효율적으로 사용하기 위해서 표준화된 검사들이 등장하였고, 이를 통해서 다른 학생들과의 상대적 비교에 초점을 두는 규준참조검사의 결과들이 사용되었다. 그러나 프로그램 평가의 성행, 교육의 진보성에 대한 국민들의 관심, 교육에 대한 국가수준의 책무성, 그리고 광범위한 표준화 검사의 단점 등을 해결하기 위해서 1980년대 이후로 준거참조 검사에 관심을 갖게 되었고 준거참조검사의 사용이 증가되었다(Ward & Murray, 1999). 준거참조검사는 절대적인 준거를 토대로 학생의 성취도 능력을 평가하는 방법으로써 다른 학생들과의 상대적 비교보다는 현재 그 학생의 능력에 관심을 갖기 때문에 학생 능력과 적성, 진로에 따라 교육내용과 방법을 다양화하는 현 교육과정에 적합하며, 수요자 중심교육의 측면에서도 타당하다고 할 수 있다. 준거참조검사는 자격과 인증을 부여하기 위해 사용되는 검사로써 국가단위의 시험과 같은 대단위 시험에서 주로 사용되고 있다. 그러나 학교현장에서도 준거참조검사를 적용하여 학생들의 정확한 능력을 파악함으로써 현재 진행 중인 수준별 학습을 더욱 바람직하고 효율적으로 할 수 있으므로 학교에서 교사들이 준거를 설정하고, 그 준거를 기준으로 평가하여 학생의 능력수준을 파악하는 것은 의미가 있다. 본 연구의 목적은 실제 학교현장에서 준거설정의 필요성과 적용가능성을 살펴보는 것으로 이를 위해 준거설정방법들 중 변형된 Angoff 방법과 북마크 방법을 시행하였다. 변형된 Angoff 방법에서는 정답률을 제시하는 것(정답률제시 Angoff 방법)과 제시하지 않는 것(Angoff 방법)에 따라 두 가지 방법으로 구분하였다. 이 세 방법의 준거점수와 각 수준(상위, 중위, 하위)에서 학생비율의 차이를 측정학적으로 확인하고, 준거 설정자를 대상으로 각 방법에 대한 설문조사를 하였다. 본 연구는 2004년 서울지역의 고등학교 배치고사 중 수학과 응답 자료를 활용하였으며, 그 결과는 다음과 같다. 세 가지 준거설정방법에 따른 준거점수와 표준편차를 살펴보면, Angoff 방법과 정답률제시 Angoff 방법의 ‘상위’집단과 ‘중위’집단의 준거점수가 비슷하며, 북마크 방법의 준거점수와는 약간 차이가 있었다. 따라서 각 수준에 속한 학생의 비율 역시 Angoff 방법들은 북마크 방법에서 차이가 있음을 알 수 있었다. 둘째, 준거설정방법에 따라 각 수준에 속하는 분류의 일치도를 살펴보면, 1차 평정과 2차 평정에서는 난이도를 제공하고 있는 정답률제시 Angoff 방법과 북마크 방법간의 일치도가 가장 높았으나 최종 평정에서는 문항들의 특성들을 모두 고려하는 Angoff 방법과 정답률제시 Angoff 방법간의 일치도가 가장 높았다. 셋째, 각 방법에서 준거설정자간의 판단의 일치도를 살펴보면, Angoff 방법과 정답률제시 Angoff 방법의 경우 1차 평정에서 2차 평정으로 갈수록 일치도가 높아졌으나 2차 평정에서 최종 평정의 경우에는 일치도의 차이가 거의 없었던 반면 북마크 방법은 1차 평정에서 최종 평정으로 갈수록 일치도가 높아짐을 알 수 있었다. 따라서 앞의 두 방법은 북마크 방법에 비해 준거설정자의 준거설정의 확신이 빠르며 평정의 횟수의 면에서 더 효율적임을 알 수 있었다. 마지막으로 준거설정 방법의 적용가능성 비교를 살펴보면, 응답자들의 대부분은 개념적 이해의 측면에서는 북마크 방법, 그리고 절차적 측면에서는 정답률제시 Angoff 방법이 이해하기 쉽다고 응답하였다. 또한 각 방법에서 논의에 소요된 시간은 북마크 방법의 경우 가장 적은 시간이 소요되었으며 동일한 토론시간을 제공할 경우 북마크 방법이 가장 효율적이라고 응답하였다. 각 방법의 준거설정 절차의 타당성을 살펴보면, 정답률제시 Angoff 방법은 ‘타당하다’와 ‘매우 타당하다’라고 응답한 비율이 가장 높았으며, 그 다음으로 북마크 방법과 Angoff 방법의 순서로 나타났다. 또한 교사의 전문적인 능력에 비추어 준거설정 후 각 수준에 속한 학생들의 비율이 가장 타당하다고 생각되는 방법 역시 북마크 방법보다 Angoff 방법과 정답률제시 Angoff 방법의 응답비율이 높았다. 각 방법에 대한 적합성의 측면에서는 교과에 적합한 준거설정방법에서 정답률제시 Angoff 방법, Angoff 방법, 그리고 북마크 방법의 순서로 응답하였다. 그러나 학교현장에 적합한 방법으로는 북마크 방법이 다른 방법들에 비해 더 많이 선호하였다. 그리고 학교현장에서 정답률제시 Angoff 방법과 북마크 방법은 Angoff 방법에 비해 사용하기가 용이한 방법임을 알 수 있었다. 준거설정자들이 준거를 설정할 때, 중점을 두는 요인으로는 각 수준에서의 최소능력학생의 정의, 동료교사의 의견, 상위/중위/하위집단으로 분류된 학생의 비율, 그리고 문항 및 검사에 대한 측정학적 정보의 순서로 고려하였다. 또한 준거설정과정에서 가장 힘든 점으로 각 수준에서 최소능력학생에 대한 정의를 합의하는 과정이라는 의견이 가장 많았으며 학생들의 지역차이, 학교차이, 그리고 선수학습의 차이 때문인 것으로 인식하였다. 마지막으로 교육현장적용의 필요성과 적용가능성을 보면, 준거설정자 모두 교육현장 적용에 필요하다고 응답하였으며, 적용가능성으로도 준거설정자 대부분이 가능하다는 의견이 제시되어, 학교현장에서 준거설정 적용의 필요성과 활용성 모두에서 긍정적인 결과를 제시하였다. 따라서 본 연구에서 Angoff 방법은 교사들의 자질과 능력을 최대한 발휘할 수 있지만 가장 많은 시간소비로 인하여 현장 적용에는 다소 어려움이 있다는 것을 알 수 있었다. 북마크 방법은 시간적인 효율성이 가장 높으며, 적용면에서도 가장 용이한 방법이지만 순서화된 문항집에서 최소능력 학생의 수준이 한 번의 북마크로 정해지기 때문에 준거설정자의 순간적인 판단이 중요하며, 준거설정자간의 일치도가 계속 변하기 때문에 토론시간이 더욱 필요함을 알 수 있었다. 마지막으로 정답률제시 Angoff 방법은 준거설정 절차의 타당성과 교과에 가장 적합한 방법으로 인식하고 있었다. 이 방법은 교사의 전문성을 통해 각 문항을 살펴볼 뿐만 아니라 실제 학생들의 정답률을 제시함으로써 학생들의 현재 능력까지 고려할 수 있는 장점이 있으며 교과의 측면에서는 구체적으로 각 문항들을 논의할 수 있는 정답률제시 Angoff 방법을 가장 적합하게 생각하였으며 학교 현장 적용에서도 역시 이 방법이 가장 적합한 방법이라고 제시하였다. 준거참조검사가 현재 대규모 검사를 중심으로 이루어지고 있지만 실제 교사와 학생의 입장에서 매우 필요하며, 적용 가능함을 알 수 있었다. 준거참조검사가 실제 학교에 사용하기 위해서는 현실가능한 성취수준설정과 다각도의 경험적인 연구, 그리고 지속적인 준거설정방법의 개발과 문항연계를 통한 북마크 방법 등의 연구가 지속적으로 이루어져야 하며, 예측 타당도를 통해 타당성도 증명되어야 한다. 또한 1998년 이후부터 평어평점 수 5점, 우 4점, 미 3점, 양 2점, 가 1점으로 하여 과목별로 평균을 낸 점수 부여를 실시하고 있는 학교 상황을 고려해 볼 때 교사와 교육자들에게 준거와 준거참조평가에 대한 정보제공이 필요하다.