Effects of Using Machine Translation on Korean Middle School Students’ English Writing Products, Revision, Error Types, and Affective Aspects

Abstract

This study investigated the effects of using machine translation (MT) on Korean middle school students' English writing products, revision, error types, and affective aspects. More specifically, there are four research questions: 1) What are the effects of machine translation on L2 writing products? 2) What are the effects of machine translation on revision? 3) What are the effects of machine translation on error types of L2 writing? 4) What are the effects of machine translation on the learners' affective aspects? Given the prevalence of using MT in L2 writing, it needs to be investigated how MT can be used in an L2 writing class as a scaffolding tool for the students. Participants in this study were middle school students in Korea. A total of 30 students participated in the study. The study was conducted for eight weeks. Students performed a total of six writing tasks in three modes ("without MT," "MT in the draft stage," and "with MT in the revision stage"). Students wrote two writings in each of the three modes. After completing their writing, they responded to pre- and post-questionnaires asking about the affective aspects of writing while utilizing MT. The mean scores of students' pre- and post-responses were compared under two conditions: with machine translation in the draft stage and machine translation in the revision stage, based on the three sections: usefulness of MT technology, effects of using MT on improving L2 writing skills, and effects of using MT on affective variables. Furthermore, open-ended questions were added to the post-questionnaires to elicit the students' responses to using MT in L2 writing. As for the first research question, L2 writing scores were analyzed in terms of the five criteria of "content," "organization," "vocabulary," "grammar," and "mechanics" under the three writing conditions. According to the results at the draft stage, students showed the lowest score when writing without MT, whereas they showed the highest score when writing with MT. Their writing scores significantly differed between the three writing conditions regarding vocabulary, grammar, mechanics, and total scores. Compared to writing without MT, writing with MT at the draft stage significantly affected the mean score in grammar and the total score. Students' L2 writing scores were significantly improved when MT was used than when MT was not. In particular, students' writing scores increased when MT was used in the draft stage. In addition, when comparing L2 writing scores between the conditions of writing without MT and with MT, vocabulary and grammar scores significantly increased when utilizing MT. However, significant differences were not found in content and organization. It suggests that using MT did not affect the idea conceptualization during writing. The effects of learners' language proficiency on their writing scores under the three conditions were also analyzed. In writing without MT, high-level and low-level students showed significant differences except in vocabulary. When comparing the high-level students' mean scores of writing with MT with the low-level students' at the draft stage, the low-level students benefited more from vocabulary and grammar. In contrast, the high-level students benefited more from other areas. Comparing the high-level students' mean score of writing with MT at the revision stage with that of the low-level students, the results showed a significant difference only in the content score. The scores of writing with MT at the revision stage were compared under the three conditions at each proficiency level. The high-level students did not show any significant score improvement when using MT except within the mechanics category. However, the low-level students significantly increased their writing scores in all areas except for the content portion. Concerning the second research question, the effects of MT on students' revision patterns were investigated. In terms of the frequency of the changes in the student's L2 writing, there was a significant difference in mean values of the surface category, the stylistic category, the structural category, the content category, and the total category under the three writing conditions. According to the results, writing with MT at the draft stage and at the revision stage significantly affected the surface change counts compared to writing without MT. In the stylistic category, writing with MT at the draft stage significantly affected the counts compared to writing without MT and with MT at the revision stage. Regarding the structural and contents categories, writing with MT at the draft stage significantly affected the structural change counts compared to writing without MT. Lastly, writing with MT at the draft stage significantly affected the total counts compared to writing without MT and with MT at the revision stage. Overall, students' using MT at the draft stage helped the learners modify their L2 writing. As a result of analyzing changes in writing depending on the proficiency level, the number of modifications in writing was insignificantly different across all three conditions regardless of their proficiency. When MT was used at the draft stage, any significant difference was not found between the two levels in the surface category, the stylistic category, the structural category, and the content category. However, the number of corrections was higher for low-level students than for high-level students. Moreover, when MT was used at the revision stage, students' revision changes in writing were not significantly different between the two levels, but high-level students more frequently modified their writings in the stylistic and structural categories while writing under three conditions. Compared to writing without MT, writing with MT at the draft stage significantly affected the surface, stylistic, and total counts. With regard to the third research question, the number of errors and error types were analyzed under the three conditions to investigate the effects of MT on learners' error types in L2 writing. The results showed statistically significant differences in grammatical errors and total error counts. Specifically, more grammatical errors were found in writings without MT than those with MT at the draft or revision stage. On the other hand, writings in the three conditions did not significantly differ in the category of the lexical error. When students' error types in writing without MT were analyzed across their proficiency level, the students at the high level had fewer errors than those at the low level. When comparing error types for writing with MT at the draft stage, high-level students had a higher frequency of errors than low-level students. Comparing students' error types in writing with MT at the revision stage, a significant difference was not found between the two levels of students. When comparing the error types within each language proficiency level, students showed the most errors when writing without MT and the least errors when writing using MT at the draft stage, regardless of their proficiency levels. Lastly, as for the fourth research question, the effects of MT on the learners' affective aspects of writing were examined based on three sections: 1) Usefulness of MT technology, 2) Effects of using MT on improving L2 writing skills, and 3) Effects of using MT on affective variables. In the usefulness items, the students overall found it helpful to use MT at the draft stage. At the revision stage, however, responses were not significantly different across items, and the scores dropped for most questions. In addition, the scores of the post-questionnaire increased compared to the scores of the pre-questionnaire in all items. There was a tendency, albeit statistically insignificant, that the students felt using MT in their writing at the draft stage improved their L2 writing overall. With regards to the effects of using MT in L2 writing at the revision stage, students showed higher post-questionnaire scores on most questions than pre-questionnaire scores. However, students did not think that using MT improved their ability to make English sentences. Finally, writing with MT did not seem to influence any of the students' affective aspects at the draft stage. The average post-questionnaire scores of all items increased but did not show any significance. The results of the present study show that using MT for the draft version of writing is helpful for learners, particularly those with insufficient L2 knowledge. It functions as a corpus tool in that the outputs of MT provide appropriate words and sentence choices. However, MT did not affect macro-level skills such as organization in writing, and some students had negative feelings about using MT based on the belief that writing with MT is not learning. These results provide insight into L2 writing pedagogy using MT. Teachers can construct writing classes by teaching students the strategic use of MT and delivering feedback selectively beyond the sentence level MT cannot provide. In addition, the students' negative feelings about using MT can be diminished by teachers helping them recognize improvements in their vocabularies and sentence structures after they write using MT.;본 연구는 기계번역의 사용이 한국 중학생들의 영어 글쓰기, 수정패턴, 오류 유형 및 정의적 측면에 미치는 영향을 조사하였다. 특히 과정 중심의 글쓰기의 초고쓰기 단계와 수정단계에서 기계번역의 사용이 학생들의 영어글쓰기에 미치는 영향을 알아보고자 하였다. 이를 위해 연구대상으로 총 30명의 중학생들을 선정하였다. 학생들은 8주 동안 세 가지 쓰기 조건(기계번역을 사용하지 않고 글쓰기, 초고쓰기 단계에서 기계번역을 사용하여 글쓰기, 수정 단계에서 기계번역을 사용하여 글쓰기)에서 6개의 글쓰기 과제를 위키(wiki)에서 수행하였다. 학생들의 영작문은 분석적 채점을 통해 내용, 구성, 어휘, 문법, 구두점의 측면에서 분석하였으며, 수정은 학생들이 각 단계에서 글을 수정한 횟수에 기반해 표면, 문체, 구조, 내용 범주로 나누어 조사하였다. 오류 유형은 크게 어휘 오류와 문법 오류로 나누어 학생들의 영작문에서 나타난 오류의 빈도수로 살펴보았고, 학생들의 사전 설문과 사후 설문 응답의 평균 점수는 기계번역의 유용성, 영어 쓰기 능력 향상, 기계번역 사용과 관련된 인식과 태도를 다루는 정의적 영역의 세 부분으로 나누어 분석하였다. 먼저 학생들의 영어 글쓰기 결과물을 세 가지 쓰기 조건에서 내용, 구성, 어휘, 문법, 구두점의 다섯 가지 영역에서 평가하고 분석하였다. 그 결과 학생들은 기계번역 없이 글을 쓸 때 가장 낮은 점수를 보인 반면, 기계번역을 사용하여 글을 쓸 때 가장 높은 점수를 보였으며, 어휘, 문법, 구두점 영역에서 유의미한 차이가 있었다. 특히 학생들이 초고 쓰기 단계에서 기계번역을 사용하였을 때 점수가 유의미하게 증가하였다. 한편 기계번역을 사용하지 않는 쓰기와 기계번역을 사용한 쓰기의 점수를 비교하였을 때, 학생들의 어휘와 문법 점수가 상승하였으나 내용과 구성 점수에는 큰 차이가 없었다. 이는 기계번역을 사용하는 것이 글의 거시적 측면에 영향을 미치지 못했음을 시사한다. 또한 학생들의 언어능력 측면에서 세 가지 쓰기 조건 하에서 학생들의 영작문에 미치는 영향도 조사하였는데, 기계번역을 사용하지 않고 쓴 영작문에서는 어휘를 제외하고 모든 영역에서 상,하위 학생들이 모두 유의미한 차이를 보였다. 상위 학생들은 잘못된 단어를 쓰는 것이 두려워서 쉬운 단어만 반복적으로 사용하였기 때문에 어휘 다양성 평가 항목에서 높은 점수를 받지 못한 것으로 드러났다. 초고쓰기 단계에서 기계번역을 사용하여 글을 쓴 경우 상, 하위 학생들의 영작문 점수를 비교하였을 때 하위 학생들이 어휘와 문법 영역에서 도움을 더 많이 받은 것으로 드러났고, 상위 학생들은 내용 점수에서만 유의미한 차이가 나타났다. 수정 단계에서 기계번역을 사용하여 글을 쓴 경우 상위학생들은 구두점 영역을 제외한 다른 영역들에서는 유의미한 점수 향상을 보이지 않았다. 그러나 하위 학생들은 내용 영역을 제외한 모든 영역에서 작문 점수가 크게 상승했다. 이러한 결과는 학생들의 수준에 따라 글쓰기 활동에서 기계번역을 사용했을 경우 각기 다른 방향으로 도움을 된다는 사실을 나타내며, 이는 기계번역이 글쓰기 교실에서 글쓰기 보조 도구로 다양하게 사용될 수 있음을 시사한다. 두 번째 연구 질문을 위해 기계번역의 사용이 학생들의 영어 글쓰기에 대한 수정에 미치는 영향을 조사하였다. 세 가지 쓰기 조건에서 학생들의 수정 빈도는 표면, 문체, 구조, 내용의 모든 범주에서 유의미한 차이를 보였다. 또한 초고쓰기 단계와 수정단계에서 기계번역을 사용한 쓰기는 기계번역을 사용하지 않은 쓰기에 비해 모든 영역에서 유의미한 차이가 있었다. 특히 초고쓰기 단계에서 기계번역을 사용하였을 때 학생들이 영작문을 더욱 자주 수정하는 경향이 있었다. 이것은 학생들이 초고쓰기 단계에서 기계번역을 사용하는 것이 학생들의 영어 글쓰기 수정과정에 더 도움을 줄 수 있음을 의미한다. 학생들의 언어능력에 따라 기계번역의 사용이 학생들의 영어 글쓰기 수정에 미치는 영향을 살펴본 결과, 작문의 수정 횟수는 학생들의 언어능력에 상관없이 세 가지 조건 모두에서 유의미한 차이를 보였다. 그러나 초고쓰기 단계에서 기계번역을 사용한 경우 표면, 문체, 구조, 내용 범주에서 두 수준 간에 유의한 차이가 발견되지 않았다. 다만 상위학생들보다 하위 학생들의 수정 횟수가 많은 것으로 나타났다. 또한 수정 단계에서 기계번역을 사용할 때 학생들의 글쓰기의 수정변화는 상, 하위 학생들 사이에 유의한 차이가 없었으나, 상위 학생들은 세 가지 조건에서 글을 쓰면서 문체, 구조 범주에서 자신의 글을 수정하는 경우가 더 많았다. 세 번째 연구 질문은 기계번역의 사용이 학생들의 영어 글쓰기 오류 유형에 미치는 영향을 알아보기 위한 것으로, 세 가지 글쓰기 조건 하에서 학생들의 오류 빈도와 오류 유형을 분석하였다. 그 결과 문법 오류에서 통계적으로 유의한 차이를 보였다. 구체적으로 살펴보면 기계번역을 사용한 경우보다 기계번역을 사용하지 않은 글에서 문법적 오류가 더 많이 발견되었다. 그러나 세 가지 글쓰기 조건 하에서 학생들의 영작문의 어휘 오류에는 유의한 차이가 없었다. 학생들의 영어 글쓰기에 나타난 오류 유형을 언어능력에 따라 비교한 결과 기계번역을 사용하지 않은 글쓰기에서 상위 수준의 학생들이 하위 수준의 학생들보다 훨씬 적은 오류를 보여주었다. 그러나 유의미한 차이는 아니었지만 초고쓰기 단계에서 쓰기 오류 유형을 비교했을 때 상위 학생들이 하위 학생들보다 오히려 오류 빈도가 높았다. 이는 하위 학생들이 상위 학생들보다 기계번역으로부터 더 큰 도움을 받았음을 시사한다. 그러나 역시 유의미한 차이는 아니었지만 수정단계에서 기계번역을 사용한 경우 하위 학생들의 오류빈도가 더 높았다. 이를 통해 기계번역을 수정단계에서 사용할 경우 하위 학생들의 영어 글쓰기에는 큰 도움을 주지 못한다는 것을 알 수 있다. 각 언어 수준 내에서의 오류 빈도와 유형을 비교했을 때, 학생들의 언어수준에 관계없이, 기계번역을 초고쓰기 단계에서 사용하여 글을 쓸 때 가장 적은 문법오류가 나타났다. 네 번째 연구 질문은 기계번역의 사용이 학생들의 정의적 측면에 미치는 영향을 알아보기 위한 것으로 사전과 사후 설문의 문항들을 기계번역의 유용성, 기계번역이 영어 쓰기 능력 향상에 미치는 영향, 기계번역에 대한 인식과 태도의 세 가지 항목으로 나누어 분석하였다. 먼저 유용성 항목에서 학생들은 전반적으로 초고쓰기 단계에서 기계번역을 사용하는 것이 도움이 된다고 하였다. 그러나 수정단계에 기계번역을 사용할 경우 항목별로 응답이 크게 차이가 나지 않았으며, 오히려 사전 설문 점수와 비교하였을 때 “기계번역을 영어 글쓰기에 사용하는 것은 편리하다.” 와 같은 항목에서는 사후 설문 점수의 하락이 있었다. 학생들은 초고쓰기 단계에서 기계번역을 사용하는 것이 수정단계에서 기계번역을 사용하는 것 보다 전반적으로 더 유용하다고 느끼는 것으로 나타났다. 다음으로 기계번역이 영어 쓰기 능력 향상에 미치는 영향이 조사되었다. 기계번역을 초고단계에서 사용할 경우, 통계적으로 유의미하지 않았지만 사전 설문 점수와 비교하였을 때 모든 문항에서 사후 설문의 점수가 상승하였다. 수정단계에서 기계번역을 사용하였을 경우, 사전 설문 점수와 사후 설문점수 간에는 유의미한 차이가 없었다. 대부분의 문항에서 사후 설문에서 점수가 상승하였으나, 기계번역을 수정단계에서 사용하였을 경우 “기계 번역은 영어 문장을 만드는 능력을 향상시킨다.”는 문항에서는 사후 설문의 점수가 하락하였다. 마지막으로, 기계번역을 사용하는 것에 대한 학생들의 인식과 태도를 묻는 정서적 변인에 대한 항목에서 학생들은 초고쓰기 단계에서 기계번역을 사용할 때 자기주도적 글쓴이가 되는 것에 도움을 받을 수 있다는 항목에서 유의미한 점수상승을 보였다. 그러나 수정단계에서 기계번역을 사용하였을 때는 전반적으로 사후 설문의 점수가 하락하였는데, 이는 학생들이 초고쓰기에서 기계번역을 사용하는 것에 비해 수정단계에서 기계번역을 사용하는 것에 대해 덜 호의적인 태도와 인식을 가지고 있음을 보여준다. 본 연구의 결과는 영어 글쓰기 활동에서 초고 쓰기에 기계번역을 사용할 경우, 특히 하위 학생들에게 더 많은 도움을 주는 것으로 나타났다. 기계번역의 결과물은 학생들에게 단어 수준에서 코퍼스(corpus)와, 온라인 사전 역할을 하며 적절한 단어를 사용할 수 있도록 도왔고, 문장 수준에서는 기계번역의 결과물을 통해 학생들은 자신이 쓰고자 하는 문장에 대한 바람직한 예시를 제공받을 수 있었다. 그러나 기계번역의 사용은 영작문에서 글의 구조와 같은 거시적 수준에는 영향을 줄 수 없었다. 기계번역을 영작문 활동에 사용하는 것에 대해서 학생들은 전반적으로 긍정적인 태도와 인식을 보여주었으나, 몇몇의 학생들은 기계번역을 통해 글을 쓰는 것은 학습에 포함되지 않는다는 의견을 가지고 있어 기계번역을 영작문 활동에 활용하는 것에 대해 부정적인 태도와 인식을 보여주었다. 이러한 결과들은 영작문 활동에서 기계번역의 사용에 대한 교육학적 의미를 살펴볼 수 있게 한다. 먼저 교사는 과정 중심의 글쓰기 과정활동 중 초고쓰기 과정에서 기계번역을 사용하여 학생들이 단어와 문장수준에서 도움을 받을 수 있도록 하고, 기계번역이 제공할 수 없는 글의 구조와 조직과 관련된 부분들에 대해 피드백을 제공함으로써 효율적인 쓰기 수업을 구성해야 한다. 또한 교사는 학생들이 수정 단계에서 기계번역을 사용하여 쓴 부분을 포함하여 글을 구성하고 있는 단어, 문장 등이 글의 전체적인 구조와 관련지어 어색함이 없는지 등에 대해 학생들에게 살펴보게하고 글을 다시 수정할 수 있게 도와줄 필요성이 있다. 본 연구 결과를 통해 기계번역을 사용한 영어 글쓰기 활동이 학생들의 영어 글쓰기 결과물뿐만 아니라 영어쓰기 능력 향상에도 도움을 줄 수 있을 것으로 기대되는 바이다.