계량적 작문 평가를 위한 자동 작문 평가의 기준 분석 연구

Abstract

Writing assessment has been widely recognized as an appropriate measure for access the student’s knowledge and higher order thinking. Still Writing Assessment is not activated at the chalkface due to constraints of time and cost. Also the rater reliability of the internal and external problems exist. For this reason, this study applies a quantitative assessment of writing to complement the status of writing assessment. It would be empirical and positive approach as quantitative essay assessment criteria are formed based on the practical writing text. This study reviewed the criteria used in automated essay scoring and writing text research through the method of narrative research. This study considered various writing assessments which have been traditionally used in various types and determined the nature of quantitative essay assessment. While the traditional writing assessment has been assumed to be rated by human experts, quantitative writing assessment is rated by the frequency and length of the text surface. Thus there are a number of oppositions to the quantitative writing assessment. This study took the critical review to those positions and explored the possibility of quantitative writing assessment. As the automated scoring on Korean text is limited to a sentence level assessment, this study choose the automated essay scoring on English and Japanese for the subject of the study. Narrative research on the evaluation criteria using automated essay scoring and the study of writing assessment was conducted. In the automated essay scoring, the length of words and sentences, cohesive ties are used to evaluate the degree of difficulty of words. Also, this study investigates the features of cohesion and coherence in korean text refer to the studies on the analysis of students’ writing. After the narrative research, this study presents criteria of quantitative essay assessment on the expression and organization category of the text. On the expression category of the text, five criteria are set such as 1) whether the spelling and punctuation is precisely used, and 2) whether the sentence structure has grammatical accuracy, and 3) the degree of syntax complexity, and 4) the distribution pattern and the length of the sentences, and 5) how the distribution of the number of sections per sentence are erected the five criteria. On the organization category of the text, three criteria are applied including 1) frequency of repeated words, and 2) the frequency of substitution of the expression and anaphor, and 3) the frequency of the discourse marker. This study applies those criteria on the text written by high school sophomore students. Gathered writing was divided into two groups including immature writer group and skillful writer group, and analyzed by the criteria. According to the result, results on the length of the sentence, repetition of words was contrary to this study’s expectation. However, the experiment should be revisited on the situation of large-scale writing assessment and criteria should be modified depending on characteristics of Korean text. However, the text of the surface qualities of ever writing a quantitative evaluation based on the composition and organization of the text representation of a category in assessing the relative advantage of the fact that the area is Quantitative evaluation after writing a follow-up discussion is in progress for a quick and objective evaluation is expected to be used as complementary. Still the quantitative writing assessment based on surface quality of the text has relative advantage in assessing expressing and organization of the text. The criteria specified in this study can be used as a strategy for writing class that offers meaningful information to both students and teachers in overall writing classes. Fllow-up discussion regarding on quantitative writing assessment for quick and objective evaluation is expected for the future. [Keywords] writing assessment, quantitative writing evaluation, automated essay scoring, coherence, cohesion;작문 평가는 학습자의 앎과 사고력을 평가하기에 적절한 수단으로 널리 인식되고 있다. 그럼에도 교육 현장에서 작문 평가가 활성화되지 못하는 것은 시간과 비용의 문제로 인한 현실적 제약과 채점자의 내적·외적 신뢰도의 문제에 기인하는 바가 크다. 이에 이 논문에서는 텍스트의 표층적 자질에 근거하여 작문 텍스트를 계량적으로 평가함으로써 기존의 작문 평가에서 제기된 어려움을 보완하는 방안을 모색하고자 했다. 계량적 작문 평가는 실제 작문 텍스트를 토대로 평가 기준을 설정하기 때문에 경험적이고 실증적인 평가를 가능하게 하며, 평가 기준에 일관성이 있어 평가 환경이 표준화될 수 있다는 장점을 지닌다. 이 연구에서는 한국어 작문 텍스트의 계량적 평가 방안을 모색하기 위해 국내외 작문 자동 평가에서 사용되는 기준을 살피고, 작문 평가 및 작문 텍스트에 대한 연구를 서술적 고찰의 방법을 통해 살폈다. Ⅱ장에서는 전통적으로 사용되어 온 작문 평가의 여러 유형을 살피고 그것과 차별화되는 계량적 작문 평가의 특성을 밝혔다. 기존의 작문 평가가 인간 전문가에 의한 것으로 전제되어왔다면, 계량적 작문 평가에서는 빈도 및 길이와 같은 텍스트 표층의 구성 요소에 의거하여 평가를 진행하는 특징을 지닌다. 이어 계량적 작문 평가에 대한 반대의 입장을 살핌으로써 계량적 작문 평가의 가능성을 살폈다. Ⅲ장에서는 자동 작문 평가의 국내외 개발 현황 및 작문 평가 연구를 고찰함으로써 분석의 대상을 설정하였다. 분석 및 고찰의 대상으로 논술형 평가가 가능한 국외의 자동 작문 평가와 학습자의 텍스트를 직접 분석한 작문 평가 연구를 설정하였다. 국외의 자동 작문 평가에서는 자연언어처리와 잠재의미색인과 같은 정보처리기술을 활용하는 한편, 계량적 지표를 평가의 수단으로 부분적으로 활용하기 때문이다. 이때 단어 및 문장의 길이, 응집성의 표지, 어휘의 난이도를 평가의 기준으로 활용함을 확인할 수 있었다. 한편, 학습자의 작문 텍스트를 분석한 연구를 통해 한국어 텍스트의 특성에 적합하며 계량적 작문 평가의 지표로 활용할 수 있는 기제에 대해 논의하였다. 이후 Ⅳ장에서는 텍스트의 표현 및 조직의 범주에 대한 계량적 작문 평가의 기준을 제시하였다. 표현 범주는 1) 맞춤법 및 문장 부호와 같은 언어 관습을 지켰는지, 2) 문장 구조가 문법적 정확성을 갖추었는지, 3) 구문이 복잡한 정도는 어떠한지, 4) 사용된 문장의 길이 및 분포의 양상이 어떠한지, 5) 문장 당 내포절 개수가 어떻게 분포되었는지의 다섯 가지 기준을 세웠다. 조직 범주에서는 1) 반복된 어휘의 빈도, 2) 대용 표현의 빈도, 3) 구조 표지어의 빈도의 세 가지 기준을 적용하였다. 이후 고등학교 2학년 학습자가 작성한 텍스트를 수집한 뒤, 그것을 미숙한 필자의 것과 능숙한 필자의 것으로 나누어 실험적 적용을 실시하였다. 실험 결과, 이 연구에서 선정한 계량적 작문 평가의 기준 중 문장의 길이 요인, 어휘의 반복, 구문 복잡도에서 예상했던 결과와 차이가 있었으나, 이는 추후 대량의 표본을 대상으로 다시 고찰해 볼 문제로 보았다. 이 논문에서는 우리말 특징의 모호함으로 인해 계량적 작문 평가의 기준이 절대적일 수 없으며, 그것이 인간 전문가에 의한 작문 평가와 병행되어 상호보완적인 형태로 활용되어야 함을 인지하고 논의를 펼쳤다. 그러나 텍스트의 표층적 자질에 기반한 계량적 작문 평가가 작문 텍스트의 표현 및 조직 범주를 평가함에 있어 상대적 우위가 있는 영역이 있음은 사실이다. 이후 계량적 작문 평가에 대한 후속 논의가 진행되어 신속하며 객관적인 평가를 위해 보완적으로 활용되기를 기대한다.