학문 목적 한국어 학습자의 쓰기 수행 평가를 위한 분석적 채점척도 개발

Abstract

본 연구는 학문 목적 한국어 학습자의 쓰기 수행 평가를 위한 타당도 높은 분석적 채점척도를 개발하는 것을 목적으로 한다. 본 연구의 주된 연구문제는 학문 목적 한국어 학습자의 쓰기 수행 평가를 위한 분석적 채점척도의 이론 타당도와 내용 타당도 그리고 채점 타당도를 어떻게 확립할 것인가이다. 이를 위해 5명의 채점자가 30부의 수험자 작문에 대해 2차에 걸쳐 채점을 수행했다. 채점척도의 개발 과정은 쓰기 시험 과제 선정, 쓰기 시험 실시 그리고 채점 대상 작문 선정으로 이어지는 일련의 채점척도 개발 준비, 예비 채점척도 개발, 1차 채점척도 개발, 2차 채점척도 개발 그리고 최종 채점척도 개발 등의 절차들로 이루어져 있다. 본 채점척도의 이론적 타당성을 보증하기 위해서는 다국면 Rasch 측정모형 및 다중회귀분석 기법 등을 활용한 양적 연구와 쓰기 이론 관련 문헌 조사 및 학습자 작문의 텍스트 분석을 통한 질적 연구를 병행했다. 또한 내용 타당도를 확보하기 위한 절차로는 기존 국내외 학문 목적의 쓰기 평가 채점척도 수집, 국내외 학문 목적의 쓰기 전문가가 집필한 관련 문헌 고찰, 그리고 일선 학문 목적의 한국어 교사를 대상으로 한 채점척도 기술자 선정 설문조사 등이 실시되었다. 그리고 채점 타당도의 검증을 위한 절차로서 다국면 Rasch 측정모형을 활용한 양적 연구를 수행했다. 그 결과, 5개의 준거와 6개의 점수단계로 구성된 채점척도가 최종 완성되었다. 끝으로, 실제적 시사점과 후속 연구를 위한 제안도 함께 제시되었다.;The purpose of the present study is to develop an analytic rating scale for writing performance assessments in Korean as a second language (KSL) for academic purposes, and provide the satisfactory evidence of diverse aspects of validity on them. The primary research questions are how the evidence can be collected to establish and investigate (1) the theory-based validity, (2) the content validity, and (3) the scoring reliability of the analytic rating scale for writing performance assessments in KSL for academic purposes. In order to do it, 5 raters as teachers of Korean for academic purposes assigned scores to the same 30 candidate scripts using two different drafts of the scale as evaluation basis two times with a brief interval. The whole process of devising the scoring rubric constitutes a series of elaborate procedures, including (1) surveying valid and appropriate writing test tasks, (2) administering the test, (3) choosing representative essays that were to be rated among all the compositions collected (4) designing the preliminary draft of the scale, (5) creating the first draft of the scale, (6) constructing the second draft of the scale, and (7) obtaining the final version of the scale. The study employed in support of the theory-based validity of the scale quantitative research methodologies involving many-facet Rasch model analyses and a multiple regression analysis, as well as a qualitative research technique such as an investigation from literature concerning writing theories and a text analysis on the essays rated. In addition, there were carried out in efforts to establish the content validity of the scale, a variety of procedures containing gathering scoring rubrics developed to assess compositions in second languages, reviewing related literature on what has been valued by researchers and professionals in assessing or teaching writing for academic purposes, and making the salient scale descriptors identified by the raters as teachers of Korean for academic purposes. Besides it, a many-facet Rasch model was adopted as a quantitative measuring method to address the scoring validity of the scale. In consequence, the final version of the rating scale with 5 criteria and 6 score-bands was completed. Practical implications are discussed and suggestions for further research are proposed.