The Effects of Different Frequency Applications of Automated Writing Feedback on Korean EFL Writing

Abstract

In ways to effectively provide written corrective feedback that is capable of enhancing both fluency and accuracy of the EFL learners’ writing has been without a conclusive result. Among several suggestions, the Content-Before-Form feedback was the most prevailing method that has been suggested to be implemented in the process-oriented composition class, based on the assumptions of EFL learners’ limited ability in dual cognitive processing of attending to both content and form simultaneously. However, researchers argued against the overstated concerns over EFL writers’ restricted ability in dual processing of both types of feedback by bringing forth the counter empirical evidences. Moreover, pedagogical evidences in support of EFL learners’ need of accuracy-related feedback from early drafting were strongly remarked. Furthermore, when taking into consideration the fact that students writing is not entirely representative of the problems the writers have ‘while’ they are writing, researchers are turning their attention to providing immediate feedback. Drawing on Mora-Flores (2009) and Peterson (2010) views in necessity of offering writers with ongoing feedback at every stage of the execution of writing, the present study gave a concerted attempt to implement automated writing evaluation system in providing immediate diagnostic feedback to EFL writers. Since automated writing evaluation system is exclusively capable of providing instant feedback primarily on language-related issues, it is believed to ease writing instructors’ overload and assist students with ongoing support. To that end, the present study purposed to examine the appropriate ways in offering immediate diagnostic feedback via automated writing evaluation system by comparing relative effects of two different application types, namely frequency-restricted and frequency non-restricted group. This experiment took an initiative step in elucidating the effect of frequent language-related feedback provision on improving EFL learners’ writing by allowing frequency-restricted group to access to automated writing evaluation system only once before submitting each draft to the instructor while frequency non-restricted group utilizing the system without any restrictions in frequency. Thus, in total of two research questions along with several sub-questions were posed: (1) How do different frequency applications of automated writing feedback in the process of writing affect EFL learners’ writing performance?, (2) How do different frequency applications of automated writing feedback in the process of writing affect EFL learners’ perception? In total of 20 students with varied majors participated for the study and they were assigned to either frequency-restricted or frequency non-restricted group, which makes 10 students to be involved in each experimental group. Prior to the treatment procedure, students were provided with pre-treatment essay and questionnaire and based on pre-treatment essay result, the homogeneity of the two groups were confirmed. As for the automated writing feedback, Criterion® automated writing evaluation system was implemented in which is feasible of offering student with instant score and feedback based on the real time database. The treatment procedure was composed of instructions on how to write an argumentative essay, based upon process-oriented writing syllabi. During the treatment, students were required to complete two argumentative essay in which they were asked to write three drafts (first, second and final draft) for each assignment. As for frequency-restricted group, they were allowed to utilize Criterion® once before submitting each draft to the instructor which makes a total of three automated writing evaluation attempts, while frequency non-restricted group utilizing Criterion® any time they want with no restrictions on frequency. After the treatment, post-treatment essay and questionnaires were provided. To examine the effects of different application types of automated writing feedback on students’ writing performance, both within and between group analyses were conducted by comparing the analytic writing scores, fluency, accuracy, and complexity measures of pre- and post-treatment essay of frequency-restricted and frequency non-restricted group. Furthermore, EFL learners’ perceived effectiveness of automated writing feedback was investigated by analyzing the responses in pre- and post-questionnaires composed of both closed and open-ended questions. Statistical analyses were further performed to reveal the statistical significance of retrieved mean differences. The results of the data analyses revealed that EFL learners significantly improved in their overall writing performance in general after utilizing automated writing evaluation system. Furthermore, their interest and confidence in English writing also significantly increased after the treatment. What is even more worthy of notice is the outperformance of frequency non-restricted group in writing quality, particularly in the dimension of grammar and content. This suggests a strong evidence for EFL learners’ capability of dual cognitive processing in attending to both content and form. Moreover, frequent provision of instant automated writing feedback influenced students’ improvement in accuracy of writing. The outperformance of frequency non-restricted group goes in tandem with responses in post-questionnaires in that while both groups favored in receiving automated writing feedback, frequency non-restricted group showed more positive perceived effectiveness on utilizing automated writing evaluation system. Also, the present study was successful in revealing EFL learners’ preferences in providing with immediate diagnostic feedback mostly in preliminary drafts. This goes against the prevailing process-oriented writing pedagogy of offering students with feedback on language-related issues until the last moment in hope of not distracting students’ development and reformulating of ideas. Although students preferred to receive automated writing feedback mostly in first few stages of revising the drafts, they seemed to have not been distracted by frequent provision of language-related feedback, but rather improved in conveying the intended meaning. To conclude, the findings of the present study took the initiative in finding the appropriate ways in providing EFL learners with instant automated writing feedback and provided strong evidence in the effectiveness of frequent provision of immediate diagnostic feedback in improving overall writing quality, particularly in the dimension of grammar and content, and accuracy. Furthermore, students’ preference to utilize automated writing evaluation system in the preliminary stages of writing should be favorably considered in the EFL composition class. Based upon the retrieved results of students’ willingness to use automated writing evaluation system without having restrictions on frequency and access period, the present study contributed to EFL writing pedagogy in finding ways in providing students with appropriate written corrective feedback.;본 논문은 영작문 수업에서 요구되는 적절한 첨삭 제공 방식을 보완하기 위한 방편으로 자동 작문 채점기를 사용하여, 피드백 제공의 활용 방식 차이가 한국 대학생의 영어 작문 능력 및 정의적 측면에 미치는 영향을 조사하였다. 자동 작문 채점기는 즉각적인 첨삭 제공을 가능케 하여 교수자의 첨삭에 대한 부담을 줄여줄 뿐만 아니라 작문 수업에서 결여된 즉각적인 피드백 제공을 보완할 수 있다는 점에서 그 가능성을 인정받았다. 특히 자동 작문 채점기는 언어적인 측면에서 타당성과 신뢰성을 보장받아 교사가 의미적인 측면에의 첨삭제공에 집중하는 데에 일조할 것으로 기대된다. 이를 토대로 본 연구에서는 두 가지 형태의 피드백 활용 방식이 사용되었는데, 한 가지는 기존 과정 중심 쓰기 지도법에 의거하여 학습자가 교사에게 각 초안 제출하기 전 한 번씩 자동 작문 채점기를 통해 언어적 측면의 첨삭을 최소한으로 제공받는 방식이며, 나머지 한 가지는 학습자가 자동 작문 채점기를 사용 횟수와 사용 시기에 제한 없이 활용하는 방식이다. 두 번째 방식은 기존 쓰기의 과정 중심 쓰기법과는 상반되게 최근 몇몇 연구자로부터 제기되어 온 제 2언어 학습자들의 언어적 측면 첨삭의 중요성과 필요성에 의거하여 형성되었다. 이러한 활용방식의 분류는 자동 작문 채점기를 통한 작문 피드백 제공의 빈도수가 학습자들에게 미치는 영향을 분석할 수 있다는 점에서 의의가 있다. 본 연구의 참여자는 서울시 소재의 대학에 다니는 20명을 대상을 하였으며, 학생들은 각 빈도제한과 빈도 비제한 집단으로 나뉘어져 약 4주 동안 4개의 논설문을 작성하였다. 그 중 첫 번째와 네 번째 작문은 각각 사전시험과 사후시험으로 사용되었으며, 각 시험 종료 후, 학습자의 정의적인 반응을 살펴보기 위해 설문지 조사가 실시되었다. 작문시험 채점은 분석적 채점 도구를 활용하여 두 명의 채점자가 전반적인 작문 능력을 평가하였으며, 더 나아가 유창성, 정확성, 복잡성을 측정하여 보다 더 구체적으로 학습자들의 사전, 사후 시험 작문을 분석하였다. 나머지 두 개의 작문은 과제로 제공되었으며 각 작문은 자동작문채점기와 교사 첨삭을 병행하여 두 번의 초안 작성과 수정 작업을 거쳐 최종안을 제출하도록 하였다. 빈도제한 집단의 경우 초안 작성 후 자동작문채점기로부터 한 번씩 첨삭을 제공받아 이를 토대로 수정하여 교사에게 제출하도록 하였으며, 빈도 비제한 집단의 경우 시기와 횟수에 제한 없이 작성 과정 중 임의대로 자동작문채점기를 사용하도록 하였다. 수업은 과정 중심 쓰기 지도안에 기초하였으며 일주일에 두 번, 각 수업 당 60분이 소요되었다. 학습자들의 수정 과정을 보다 구체적으로 살펴보기 위해 총 4명의 학생은 캠타시아를 사용하여 전 작문 과정을 녹화하였다. 실험 후 작문시험 채점 결과, 본 연구의 결과는 다음과 같다. 1) 작문 과정 중 자동작문채점기를 활용한 즉각적인 피드백 제공은 한국 학습자들의 전반적인 영어 능력에 유의미한 향상을 가져왔다. 2) 빈도 비제한 집단의 실험 후 작문시험의 분석적 채점 점수 중 특히 ‘내용’과 ‘문법’ 항목에서 빈도 제한 집단보다 유의미하게 향상되었다. 3) 빈도 비제한 집단은 유창성, 정확성, 복잡성 측정 결과 중 정확성에서 빈도 제한 집단보다 유의미한 향상을 보였다. 3) 빈도 비제한 집단의 수정 과정을 살펴본 결과, 학습자들은 작문 초기에 다량의 첨삭을 제공 받는 것을 선호하였다. 4) 대체적으로 자동작문채점기를 통한 즉각적인 피드백 제공은 학습자의 영어 작문에 대한 흥미와 자신감을 고취시켰으며, 5) 두 집단 모두 향후에도 자동작문채점기를 사용할 의향을 강하게 표출하였다. 6) 특히 빈도 비제한 집단은 빈도 제한 집단에 비해 자동작문채점기에 대해 보다 더 긍정적인 반응을 보였다. 본 연구는 효과적인 첨삭 제공 방식의 일환으로 자동작문채점기를 통한 즉각적인 피드백 제공을 고안하였으며, 다양한 분석 결과를 토대로 자동작문채점기를 활용한 다량의 피드백 제공이 한국 학습자의 작문 능력과 정의적인 측면에서 긍정적인 효과를 가져옴을 입증하였다. 또한, 기존 과정 중심 쓰기 지도법과는 상이하게 본 연구는 학습자들이 작문 초기에 다량의 피드백 제공을 선호함과 다량의 언어적인 측면에의 첨삭이 결코 학습자들의 내용적인 측면의 발전을 저해하지 않음을 밝혔다. 후속 연구에서 더 많은 참여자를 대상으로 실험이 진행이 된다면 자동작문채점기를 활용한 즉각적인 피드백 제공이 우리나라 영어 교육 현장에 보다 더 큰 시사점을 줄 것으로 기대된다.