채점자 훈련이 중등 교사 영어 작문 채점에 미치는 효과에 관한 연구

Abstract

제 7차 교육과정의 시작과 함께 수행 평가의 도입으로 인하여 영어 작문 평가가 강조되고 있지만, 평가 방법의 문제와 작문 평가에 대한 교사들의 인식 부족으로 인하여 작문 평가 교육이 제대로 이루어지지 못하고 있다. 뿐만 아니라 현재 자주 실시되는 학생들의 영어 작문은 객관적인 기준 없이 일선 교사들에 의해 매우 주관적으로 채점되고 있어 영어 작문 채점에 대한 신뢰도 확보가 매우 중시되고 있다. 따라서 중등 영어 작문의 공정하고 신뢰로운 채점을 위한 채점자 훈련이 중등 교사의 영어 작문 채점에 미치는 효과에 대한 연구는 현재 우리 나라 중등 영어 교육에서, 특히 교사 교육에서, 절실히 필요한 부분이다. 그러나 쓰기와 관련된 많은 수행 평가 및 교사 훈련에 대한 연구의 필요성이 이렇게 강하게 제기되고 있음에도 불구하고 채점자 훈련 효과에 대한 연구는 아직 미비한 실정이다. 따라서 영어 작문의 채점자 훈련에 대한 연구는 장기적으로 한국 학생들의 영어 작문 평가에 대한 청사진을 제공함과 동시에, 한국 영어 교사들을 대상으로 한 연구의 활성화를 도모하여 우리나라 중등 영어 교육 발전에 크게 공헌할 수 있는 있을 것이다. 또한, 작문 채점 기준표 작성과 채점 결과 비교 등을 통한 영어 교사들의 훈련 효과는 일선 영어 교사들에게 타당하고 신뢰로운 작문 평가의 모습을 제시하여 줌으로써 이의 활용 가능성을 보여주고 있는 것이라고 할 수 있다. 본 연구에서는 중등 영어 현직 교사와 예비 교사 26명을 대상으로 하여 채점자 훈련 워크샵에서 훈련을 진행한 후 세 번의 작문 채점을 하도록 하여 채점자 훈련이 중등 교사의 영어 작문 채점에 미치는 효과를 분석하였으며, 이를 바탕으로 채점자 훈련 모형을 제안하고자 한다. 채점자 훈련 이후, 채점 방법, 채점자 변인에 따른 채점자 신뢰도 분석 결과와 채점자들에게 실시되었던 설문지를 바탕으로 제시된 연구 결과는 다음과 같다. 첫째, 본 연구에서 실시 된 채점자 훈련 과정은 5일 동안 진행되었으며 그 내용은 쓰기에 관한 이론, 쓰기 평가, 채점 기준 제작, 재채점(작문 채점 연습), 평가 결과 처리로 구성되어 있다. 훈련이 실시되기 전 채점된 일차 작문과 훈련 직후 채점된 이차 작문, 훈련이 있은 후 한달 뒤 채점된 삼차 작문 결과를 바탕으로 채점자 훈련이 채점자 신뢰도를 높여줄 수 있다는 것이 검증되었다. 둘째, 채점 방법에 의한 채점자 신뢰도 분석 결과 분석적 채점 방법에 의한 채점이 총괄적 채점 방법에 의한 채점보다는 더 높은 신뢰도를 보였으나 훈련으로 인한 효과는 총괄적 채점 방법에 의한 채점에서 더 많이 나타났음을 알 수 있었다. 셋째, 채점자 변인에 의한 채점자 신뢰도 분석에서는 채점 경험과 학습 경험이 없는 예비 교사들이 채점경험과 학습 경험이 있는 현직 교사들에 비해 높은 훈련 효과를 보였다. 이는 초보 채점자들이라 할지라도 채점자 훈련 과정을 통해 채점자 신뢰도를 높일 수 있다는 것을 뜻한다. 넷째, 본 연구에서는 초보 채점자들이 숙련된 채점자들보다 더 많은 효과를 보이고 있었으며 이는 본 연구의 채점자 훈련 모형이 초보 채점자들에게 더 적합한 것이었기 때문이라 판단된다. 따라서 본 연구에서의 채점자 모형은 초보 채점자들과 숙련된 채점자를 위한 모형으로 각각 제시되었다. 이는 앞으로 현장에서 사용하게 될 채점자 훈련 과정 모형 또한 채점자들의 특성에 적합한 모형을 사용해야 할 필요가 있음을 시사하고 있는 것이다. 결론적으로 우리 나라 교육 현장에서는 영어 작문평가의 실시와 함께 작문 채점자에 대한 교육이 필요하다. 교육 당국과 학습자, 교사, 학부모 모두가 채점자 훈련에 대한 필요성을 인식하여 현장에서 효율적으로 적용할 수 있도록 해야 한다. 훈련받은 작문 채점자가 보다 타당하고 신뢰로운 작문 평가를 할 때 학생들 또한 자신들의 올바른 수행 결과를 받아볼 수 있는 것이다. 또한 이러한 연구 이외에도 장기간에 걸친 채점자 훈련 효과에 대한 연구와 같은 후속적인 연구도 계속되어야 할 것이다.;Since the Seventh National Curriculum has emphasized the process-oriented tendency with criticism of traditional standardized tests, the performance of students in the teaching and learning process has become important, and performance-based language testing, such as essay examinations, has been implemented in classrooms. This effort has been done to assess the student's writing ability, which cannot be assessed by a multiple-choice writing test. In contrast to traditional multiple-choice writing tests which are scored objectively, concerns about writing assessment have been voiced. It allows the possibility of subjectivity and lack of consensus among other raters. This concern requires rater training for reliable and valid essay composition evaluation appropriate to the various proficiency levels of learners and various types of essay. Essay rater training has been rare for Korean middle or high school English teachers. Therefore, rater training on writing assessment for Korean middle or high schools is essential in achieving reliable and valid ratings of essay examinations. The purpose of this study is to explore the intra-rater reliability (rater consistency) and inter-rater reliability(rater severity) among inexperienced and experienced raters, teacher and student-practice teacher raters both before and after rater training. Experienced raters are divided into two groups: those who have experience in rating students' essays and those who have taken the course of "English Testing". Inexperienced raters are also divided into two groups: those who have no experience in rating students' essays and those who have never taken the "English Testing" course. This study identifies rater reliability not only according to the raters' variables but also to the scoring methods: the holistic and analytic scoring methods. For this study, twenty-six raters rated overlapping subsets of essays from a nationwide high school student English contest sample of 26 essays before and after training in the context of operational administration of English Education's 2001 Summer Workshop. A four-part scale was used on both holistic and analytic scoring methods, content, organization, language use and fluency. Ratings were analyzed using FACETS, a multiple-faceted Rasch analysis program that provides estimates of rater severity and rater consistency. Finally according to the analysis, the rater training program was recomended, which is appropriate to both current English teachers and student-practice teachers who want to be English teachers. The main results and indications of this study are as follows: first, rater training did improve raters' severity and consistency. Second, the rater reliability estimated is higher with the analytic scoring method than with the holistic scoring method. But rater training did improve the reliability of the holistic scoring method than the analytic scoring method. Third, the rater reliability of experienced raters is higher than the inexperienced raters. After training, however, the inexperienced raters' reliability is as high as the experienced raters'. Fourth, on the basis of the analysis, the rater training program model was provided for two groups: the experienced teachers and the new teachers. In conclusion, in order to maintain high reliability in scoring, rater training should be offered more often and more effectively. Not only teachers but also students, parents and Educational officials should keep trying to make rater training operate systematically in English writing composition. Furthermore, empirical research on rater training on writing composition is needed to investigate the different effects of rater training according to the period of training.