수행평가의 준거설정을 위한 Modified Angoff, The Body of Work방법 비교

Abstract

The expected desirable competent person has been changed as the society progressed to the global knowledge base society. The traditional method made problems like making people to be thought uniformly, making only rank of people, evaluating people with just the score and giving no feedback. Therefore to raise a desirable capable man in the future and to solve the traditional school education problems the change of curriculum and the evaluation system should be acquired. One of the alternate assessments was adopted, which emphasized problem solving process and multiple evaluation for a progress and a result Performance assessments focuses on the each characteristic so it emphasizes 'what the student know?' and 'what the student can do?'(Conformity criterion-referenced analysis). That is in the performance assessments using the criterion referenced evaluation is appropriate. There are many standard setting method applications but the research on the conformity setting method is very insufficient. This research compares Modified Angoff method, Modified Angoff(per category) method, the Body of Work method cut score and fractionate a student basic, proficient, and advanced. To evaluate for the conformity setting method evaluation, we did Interparticipant Consistency according to the evaluation to the internal standard, Interparticipant Consistenty comparision and Comparions to Other Standard Setting Method with External standard evaluation. The Consistency on the internal uniformity and external uniformity (consistency statistics) and Cohen Kappa coefficient. And for the Procedural standard evaluation, answering the question was achieved. The result on the research problem is as below. First, it has a student ratio difference on the result of fractionated score according to the Standard-Setting Methods. The final result has shown that at a advanced level Modified Angoff method, BoW method, Modified Angoff method(per category) were the fractionating score in an order, and in a proficient level BoW method, Modified Angoff method, Modified Angoff(per category)method was the order for the fractionated score. Especially Modified Angoff(per category) method makes lots of students advanced level. And BoW method makes basic level students a lot comparing to the other two methods but has almost no difference. Second, evaluation result has a difference according to the internal conformity about the conformity setting method. But BoW method is an exception as it gives the fractionated score according to the Consensus method rating Comparing the Intraparticipant Consistency gave us that Modified Angoff method Modified Angoff(per category) method all has the consensus between the second rating and final rating. Especially Modified Angoff(per category) method has a deep consensus in the conformity setting man. Comparing the Interparticipant Consistency in the conformity setting man gave us Modified Angoff method and Modified Angoff(per category)method all has a little consensus in the first rating and the second rating, but the final rating the consensus was higher. And both two methods have a better and better consensus as the rating repeats. Also performance level descriptions according to the Modified Angoff method(per category) gave us the better consensus. Third, the evaluation to the external standard has a difference. The final external conformity rating result has shown that BoW method and Modified Angoff method Kappa coefficient 0.789(very high). But Modified Angoff(per category), BoW method, Modified Angoff(per category) method and Modified Angoff method Kappa coefficient was 0.277, 0.314(So low). Fourth, the assessment results according to the procedural standard to the questionnaire were good in the three method. About the explicitness the result before the conformity setting and after the conformity setting, the conformity setting method clearness was become high according to the each conformity setting experience. About the practicability and the implementation of the conformity setting BoW method had more negative results. It is because BoW method requires needs much time and efforts to perform it. Also we considered the real level and achievement level skill first of answering student. Finaly we investigated the field application preference with the questionnaire with conformity setting group who is field teacher. The BoW method gave us a little goodness but also gave us multiple merits and 4/6 selected BoW method as a first. Modified Angoff method and Modified Angoff(per category) method has a no preference difference between them.;글로벌 지식기반사회로의 빠른 이행에 따라 국가경쟁력 강화의 핵심 요소로 인적 자원이 지닌 지식, 정보, 기술 등이 강조되고 있다. 즉 글로벌 지식기반사회가 요구하는 인재상은 이전 산업사회의 인재상과는 구분된다. 전통적 평가방법은 다양한 개선 노력에도 불구하고 획일적인 교육내용, 주입식 교육방식, 암기 및 문제풀이식 학습, 시험점수 중심의 평가, 서열화, 피드백의 미흡, 실제 생활과 유리된 이론 중심의 반복학습 등의 문제가 발생하였다. 그러므로 미래 사회에 바람직한 인재를 양성하기 위하여 기존 학교 교육의 문제점 및 한계점을 해소하기 위한 교육내용과 방법, 평가체제의 변화가 필요하다. 이에 따라 전통적인 평가방법의 대안으로 문제해결과정 및 과정과 결과에 대한 종합적 평가를 강조한 수행평가가 도입되었다. 수행평가는 학생 개인의 특성에 초점을 맞춰 학생이 '무엇을 어떻게 아는가?', ‘무엇을 할 수 있는가’와 같은 준거참조적 해석을 강조한다. 즉 수행평가에서는 준거참조평가를 사용하는 것이 적합하다. 준거참조평가의 성패는 평가방법에 알맞은 준거설정방법을 선택하고 적용하는 것에 달려있으나, 수행평가를 위한 준거설정방법에 관한 연구는 미비한 실정이다. 본 연구에서는 수행평가의 준거참조평가에서 활용할 수 있는 3가지 준거설정방법, 즉 Modified Angoff방법, Modified Angoff(영역별)방법, The Body of Work방법(이하 BoW방법)으로 산출된 분할점수로 학생을 우수수준, 보통수준, 미흡수준으로 분류하고 비교하였다. 준거설정방법의 평가를 위하여 내적 준거에 따른 평가로 준거설정자 내 일치도 비교, 준거설정자 간 일치도 비교를 하였고, 외적 준거에 따른 평가로 준거설정방법 간 일치도 비교하였다. 내적 준거 및 외적 준거에 따른 일치도 비교에는 일치도 통계량()과 Cohen의 Kappa 계수를 이용하였다. 또한 절차적 준거에 따른 평가를 위하여 설문조사를 실시하였다. 본 연구에 사용한 수행평가 과제는 2010년 1학기 서울 E여자고등학교에서 역사과 수행평가로 실시한 ‘국사과 독서일지’이다. 학생들은 역사 관련 도서를 읽고 5개의 하위과제에 서답형으로 작성하였다. 최종 분석대상은 해당 고등학교의 2학년 136명이며, 준거설정자는 역사과 현장교사 6명이다. 집중작업에서 준거설정자 훈련 및 Modified Angoff방법, Modified Angoff(영역별)방법, BoW방법을 실시하였다. 연구문제에 따른 결과는 다음과 같다. 첫째, 각 준거설정방법으로 산출한 분할점수에 의하여 분류된 학생의 비율은 차이가 있었다. 최종 평정 결과 우수수준에서는 Modified Angoff방법, BoW방법, Modified Angoff(영역별)방법의 순으로 분할점수가 높게 산출되며, 보통수준에서는 BoW방법, Modified Angoff방법, Modified Angoff(영역별)방법의 순으로 분할점수가 높게 산출되었다. 특히 Modified Angoff(영역별)방법이 다른 두 방법에 비하여 많은 학생을 우수수준으로 분류하였다. BoW방법은 다른 두 방법에 비하여 학생을 미흡수준으로 학생을 분류한 비율이 다소 높으나 거의 차이가 없었다. 둘째, 각 준거설정방법에 대한 내적 준거에 따른 평가결과는 차이가 있었다. 단 BoW방법은 준거설정자 집단에 의한 합의 기법으로 최종 평정 결과를 토대로 분할점수가 산출되므로 비교 대상에서 제외되었다. 즉 개별 준거설정자의 분할점수는 산출되지 않는다. 준거설정자 내 일치도를 비교한 결과 Modified Angoff방법과 Modified Angoff(영역별)방법 모두 2차 평정과 최종 평정 사이의 일치도가 높았다. 특히 Modified Angoff(영역별)방법의 준거설정자 내 일치도가 대체로 높았다. 준거설정자 간 일치도를 비교한 결과 Modified Angoff방법과 Modified Angoff(영역별)방법 모두에서 1차 평정과 2차 평정에서의 일치도는 대체로 낮았지만, 최종 평정에서의 일치도는 이전 단계에 비하여 상승하였고 일치도도 높았다. 또한 두 방법 모두 1차 평정에서 최종 평정으로 평정이 반복될수록 일치도가 높아졌다. 또한 Modified Angoff방법에 비하여 영역별로 상세화된 성취수준기술을 제공한 Modified Angoff(영역별)방법의 준거설정자 간 일치도가 대체로 높았다. 셋째, 각 준거설정방법에 대한 외적 준거에 따른 평가결과는 차이가 있었다. 최종 평정 결과에 대한 외적 준거에 따른 평가결과는 BoW방법과 Modified Angoff방법의 Kappa 계수는 .789로 일치도가 매우 높았다. 그러나 Modified Angoff(영역별)방법과 BoW방법, Modified Angoff(영역별)방법과 Modified Angoff방법의 Kappa 계수는 각각 .277, .314로 일치도가 낮았다. 넷째, 설문조사를 통하여 각 준거설정 방법의 절차적 준거에 따른 평가결과는 세 방법 모두 대체로 양호하였다. 명확성에 대하여 준거설정 실행 전과 실행 후로 구분하여 조사한 결과, 해당 준거설정의 경험으로 준거설정방법에 대한 명확성이 높아졌다. 준거설정의 실용 가능성 및 절차의 시행과 관련하여 BoW방법은 다른 방법에 비하여 부정적으로 응답한 비율이 다소 높았다. 이것은 BoW방법이 과제 내용에 대한 판단을 비롯하여 다소 많은 응답자료를 일일이 확인하는데 많은 시간과 노력이 필요하기 때문으로 판단된다. 또한 준거설정 시 고려한 요소를 순위별로 응답한 결과 학생의 실제 수준 및 성취수준기술 등을 우선적으로 고려하였다. 마지막으로 현장교사인 준거설정자 집단에게 설문조사를 실시하여 현장 적용 시 선호도를 조사하였다. BoW방법은 실용 가능성 및 절차의 시행의 측면에서 낮은 양호도를 보였음에도 불구하고, '학생 과제물에 대한 총체적 판단', '실제 응답자료를 살펴봄으로써 학생의 수준을 고려한 분할점수의 산출', '사전에 정해진 성취수준기술에서 의도하지 못한 다양한 결과에 대한 탄력적인 대응' 등 다양한 장점을 이유로 제시하며 6명의 준거설정자 중 4명이 1순위로 BoW방법을 선택하였다. Modified Angoff방법과 Modified Angoff(영역별)방법의 선호도에는 차이가 없었다.