영어 작문 활동에서 학습자의 인공지능 기반 피드백 활용 탐색

Abstract

교육 맥락에서 피드백은 학습자에게 현재 수행(performance)에 대한 정보를 제공하여 목표 상태와의 간극을 인식하도록 하고 자신의 수행을 개선시킬 수 있도록 촉진한다는 점에서 중요하다(Shute, 2008). 최근 인공신경망을 사용하는 딥러닝 기술의 비약적인 발전 덕분에 대량의 텍스트 데이터의 복잡한 패턴과 관계를 학습하는 것이 가능해지면서 이제는 더욱 정교한 형태로 학습자에게 개별적인 피드백을 제공할 수 있게 되었다. 이와 같이 인공지능 기술을 기반으로 제공되는 피드백은 교수자의 시간적, 업무적 부담을 줄이는 동시에 학습자들이 적시에 피드백을 받을 수 있게 한다는 점에서 전통적인 교육 방법의 한계를 극복할 수 있는 잠재력을 지니고 있다. 인공지능 기반 피드백의 활용은 여러 교과 영역, 다양한 학습 상황에서 이루어지고 있다. 특히 작문 맥락에서 그 연구와 실천이 활발히 이루어지고 있는데, 이는 작문 맥락의 특성상 학습자들이 작성하는 에세이의 양이 방대하기 때문에 교수자 대비 학습자 수가 많을수록 교수자의 부담이 가중되며, 인공지능 기반 피드백의 필요성도 그만큼 높아지기 때문이다. 인공지능 기반 피드백은 이와 같은 교수자의 부담을 덜어줄 뿐만 아니라, 교수자가 심층적인 글쓰기 지도에 보다 집중할 수 있도록 돕는다. 또한 학습자들은 언제든 원할 때 인공지능 시스템으로부터 피드백을 제공받아 자신의 글을 여러 차례 수정하면서 글의 완성도를 높일 수 있다는 교육적 이점도 존재한다. 피드백 제공의 궁극적인 목적은 학습자의 수행을 향상시키는 것에 있으므로 피드백이 효과를 발휘하기 위해서는 피드백에 대한 학습자의 이해와 활용이 선행되어야 한다. 구성주의적 관점에서도 학습자가 피드백을 어떻게 이해하고 해석하여 자신의 수행을 개선시키는 데 활용하는지에 관심을 둔다. 즉 피드백은 단순히 전달되는 것을 넘어, 학습자가 이를 제대로 소화하여 자신의 수행 향상에 반영하고자 하는 노력으로 이어질 수 있어야 한다. 따라서 인공지능 기반 피드백의 교육적 효과를 높이기 위해서는 학습자들이 인공지능 피드백 시스템이 제공하는 피드백을 실제로 어떻게 활용하는지에 대한 이해가 선행되어야 하며, 이에 더불어 학습자들의 인공지능 기반 피드백 활용 행동에 영향을 미치는 학습자 특성이 함께 고려되어야 한다. 앞서 이루어진 전통적인 피드백 연구와 인공지능 기반 피드백 연구를 검토해 보았을 때, 학습자의 사전 영어 작문 수행, 영어 작문 자기 효능감, 인공지능 피드백에 대한 정서적 신뢰도에 따라 피드백을 받아들이고 활용하는 방식이 달라질 수 있다. 이에 본 연구에서는 학습자가 인공지능 기반 피드백을 어떻게 활용하는지를 탐색하고, 학습자 특성(사전 영어 작문 수행, 영어 작문 자기 효능감, 인공지능 기반 피드백에 대한 정서적 신뢰도)에 따라 인공지능 기반 피드백 활용에 차이가 존재하는지를 검증하였다. 또한 인공지능 피드백을 활용한 후에 영어 작문 수행이 향상된 정도에 따라 인공지능 기반 피드백 활용 행동에 차이가 존재하는지 확인함으로써 인공지능 피드백의 바람직한 활용에 대한 이해를 얻고자 하였다. 이를 통해 인공지능 피드백을 활용하는 학습자에게 필요한 지원과 피드백 설계 시 고려해야 할 요소에 대한 시사점을 도출할 수 있을 것으로 보았다. 이러한 목적을 달성하기 위해 도출한 연구 문제는 다음과 같다. 1. 영어 작문 활동에서 학습자의 인공지능 기반 피드백 활용 행동은 어떠하며, 그 근거는 무엇인가?2. 영어 작문 활동에서 학습자의 인공지능 기반 피드백 활용 행동은 학습자 특성에 따라 차이가 있는가? 2-1. 학습자의 인공지능 기반 피드백 활용 행동은 사전 영어 작문 수행에 따라 차이가 있는가? 2-2. 학습자의 인공지능 기반 피드백 활용 행동은 영어 작문 자기 효능감에 따라 차이가 있는가? 2-3. 학습자의 인공지능 기반 피드백 활용 행동은 인공지능 기반 피드백에 대한 정서적 신뢰도에 따라 차이가 있는가? 3. 영어 작문 활동에서 학습자의 인공지능 기반 피드백 활용 행동은 영어 작문 수행 향상에 따라 차이가 있는가? 본 연구는 서울 소재 A 대학교에 재학 중인 총 38명의 대학생 학습자를 대상으로 인공지능 피드백 시스템인 Grammarly를 활용하여 영어 작문 과제를 수행하는 실험을 진행하였다. 실험은 다음과 같은 절차로 진행되었다. 먼저 학습자는 작문 과제 수행 전 영어 작문 자기 효능감에 대한 설문에 응답하였다. 이후 학습자는 제시된 영어 작문 주제에 대한 작문 초안을 작성한 후 Grammarly가 제공하는 피드백을 활용하며 작문 초안을 수정하였다. 학습자가 Grammarly의 피드백을 활용하여 작문 초안을 수정하는 과정은 컴퓨터 화면 녹화 프로그램으로 녹화되었다. 인공지능 피드백을 활용한 작문 수정이 종료된 후 인공지능 기반 피드백에 대한 정서적 신뢰도에 대한 설문과 인공지능 기반 피드백 활용 경험 및 인공지능 기반 피드백 활용 행동의 근거를 묻는 주관식 설문을 실시하였다. 실험을 통해 총 38명의 작문 초안, 작문 수정본, 화면 녹화본, 설문 응답 데이터를 수집하였다. 첫째, 인공지능 기반 피드백 활용 행동의 분포와 피드백 유형(교정적, 제안적)별로 인공지능 기반 피드백 활용 행동 비율을 분석하였으며, 그 피드백 활용의 근거를 자세히 살펴보고자 주관식 응답을 함께 분석하였다. 둘째, 학습자 특성에 따른 피드백 활용 행동 차이를 확인하기 위해 각 변인별로 두 집단으로 구분한 다음, 각 학습자 특성(사전 영어 작문 수행, 영어 작문 자기 효능감, 인공지능 기반 피드백에 대한 정서적 신뢰도)에 대한 독립표본 t 검정을 실시하여 집단 간의 차이를 분석하였다. 또한 유의한 차이가 발견된 변인에 따른 인공지능 기반 피드백 활용 행동의 경향성을 추가적으로 살펴보기 위해 그 분포를 산점도로 시각화하였다. 셋째, 작문 수행 향상에 따른 인공지능 기반 피드백 활용 행동 차이를 검증하기 위해 초안과 수정본 간 점수 차이가 큰 학습자들과 점수 차이가 없는 학습자들을 추출하여 두 집단으로 구분한 후 Mann-Whitney U 검정을 실시하였다. 본 연구 결과와 이를 바탕으로 도출한 결론 및 시사점은 다음과 같다. 첫째, 인공지능 기반 피드백의 활용 행동을 분석한 결과, 학습자들이 피드백을 전적으로 수용하는 비율(83.15%)이 전반적으로 높게 나타났다. 특히 교정적 피드백에서는 학습자들이 대부분의 피드백(92.63%)을 전적으로 수용하였으며, 거부한 비율(3.46%)은 낮게 나타났다. 문법, 철자, 구두점 등에 대한 피드백은 옳고 그름이 명확한 영역에 대한 것이었기 때문에 학습자들은 사전 지식에 근거하여 피드백을 부정확하다고 판단하지 않은 이상, 교정적 피드백을 수용하였다고 응답하였다. 반면, 틀린 부분에 대한 피드백이 아니라 더 나은 표현을 위한 제안적 피드백의 경우 학습자들이 66.92%의 피드백을 전적 수용한 것으로 나타났으며, 거부된 피드백은 27.02%로 확인되었다. 이와 관련하여 학습자들은 피드백이 학습자의 본래 의도나 맥락을 제대로 파악하지 못했다고 느낀 경우에 피드백을 수용하지 않았다고 응답하였다. 이러한 결과는 학습자들이 제공받은 피드백이 정‧오답이 분명한 영역에 대한 것인지의 여부에 따라 활용 행동 양상에 차이가 존재함을 시사한다. 또한 교정적 피드백에 있어서는 사전지식에 근거한 피드백 정확성에 대한 판단을 기준으로, 제안적 피드백에 있어서는 피드백이 학습자가 본래 의도한 의미나 맥락에의 부합성 또는 적절성을 기준으로 피드백 활용 행동을 결정하는 경향이 있음을 보여준다. 둘째, 학습자 특성에 따른 인공지능 기반 피드백 활용 행동의 차이를 분석한 결과, 영어 작문 자기 효능감과 인공지능 기반 피드백에 대한 정서적 신뢰도에서 유의한 차이가 발견되었다. 먼저 영어 작문 자기 효능감이 낮은 학습자들은 영어 작문 자기 효능감이 높은 학습자들보다 인공지능 기반 피드백을 더 자주 수용하는 경향이 있었다. 주관식 설문 응답을 통해 그 근거를 살펴본 결과, 자신의 작문 역량에 대한 낮은 믿음으로 인해 자신의 판단보다는 인공지능 시스템의 피드백을 신뢰하는 경향이 있음을 확인할 수 있었다. 이러한 결과는 작문에 대한 자기 효능감이 낮은 학습자들이 객관적인 판단에 근거하기보다는 자신의 역량에 대한 믿음의 부족으로 인해 깊은 숙고 없이 피드백을 무조건적으로 수용할 가능성이 일부 존재함을 보여주며, 학습자가 인지적인 노력을 충분히 기울인 후 합리적이고 타당한 이유에 기반하여 피드백을 활용에 대한 결정을 내릴 수 있도록 지원할 필요가 있음을 시사한다. 다음으로, 인공지능 기반 피드백에 대한 높은 정서적 신뢰도를 보인 학습자가 낮은 정서적 신뢰도를 가진 학습자들보다 피드백을 더 많이 수용하는 경향을 보였다. 특히 문법 오류와 같이 정답이 존재하는 영역에 대한 피드백에 있어서는 인공지능 기술을 중심으로 작동하는 시스템을 쉽게 신뢰할 수 있었다는 응답이 존재했다. 이에 더불어 자신의 작문 역량에 대한 낮은 효능감으로 인해 상대적으로 인공지능 피드백 시스템을 더 신뢰하였다는 응답들을 확인할 수 있었다. 이러한 결과는 학습자가 인공지능 피드백 시스템을 믿을 만한 정보원으로 여기며 그 피드백을 신뢰할수록 피드백을 수용할 가능성이 높음을 시사하며, 자신의 작문 역량에 대한 믿음이 낮을 경우 이와 같은 현상이 더욱 두드러지게 나타날 수 있음을 보여준다. 셋째, 학습자의 영어 작문 수행 향상에 따른 인공지능 피드백 활용 행동의 차이를 확인한 결과, 교정적 피드백은 작문 수행이 향상된 정도에 관계없이 비슷하게 활용되었으나, 인공지능 기반 피드백을 활용한 후 작문 점수가 크게 향상된 학습자들은 제안적 피드백을 수용하기보다는 거부하는 모습을 보였다. 이는 인공지능 기반 피드백을 효과적으로 활용하는 학습자들은 제공받은 피드백의 적합성을 판단하고 글의 맥락에 맞게 적절히 채택하거나 거부하는 경향이 있음을 보여준다. 따라서 인공지능 피드백 시스템은 학습자들이 객관적이고 타당한 근거를 바탕으로 피드백의 적절성을 판단하여 피드백 활용 방향을 결정할 수 있도록 설계하는 것이 중요하며, 향후 인공지능 피드백을 활용한 수업을 실시할 때도 학습자들이 제공받은 피드백에 동의하는, 혹은 동의하지 않는 이유에 대해 구체적이고 타당한 근거에 대해 생각해보도록 하는 수업 활동이 고려될 필요가 있다. 또한 학습자들이 인공지능 기반 피드백을 거부했던 이유로 피드백에 동의하지 않았기 때문이 아니라 피드백에 대한 부연 설명이 충분히 상세하지 못하였거나 학습자가 작성한 글에 맞게 생성된 예문이 아닌 사전에 마련된 예문이 제공되었기 때문이라는 의견이 있었다. 인공지능 기반 피드백을 통한 학습 효과를 극대화하기 위해서는 학습자의 요구와 상황에 더욱 정교하게 맞춤화된 설명이 제공되어야 한다. 그래야만 학습자가 피드백을 제대로 이해하고 납득할 수 있으며, 그 이해를 바탕으로 피드백 활용에 대한 판단과 행동을 결정할 수 있을 것이다. 따라서 향후 연구와 실천에서 인공지능 피드백 기술이 구현할 수 있는 핵심적인 요소인 적응성(adaptivity)을 높이기 위한 지속적인 노력이 필요하다. 본 연구의 제한점과 후속 연구에 대한 제언은 다음과 같다. 첫째, 본 연구는 특정 교과, 성별, 학교급에 국한된 데이터를 수집하였으므로 보다 다양한 맥락에서 후속 연구가 이루어져야 한다. 둘째, 본 연구는 실제 수업 환경이 아닌 실험실 환경에서 수행되었으므로 향후 연구에서는 실험 환경에서의 일회성의 작문 활동이 아닌, 여러 차시로 구성된 실제 작문 수업 상황에서 학습자의 학습 데이터를 수집하고, 학습자를 지원할 수 있는 수업 설계적 방법에 대한 연구를 실시할 필요가 있다. 셋째, 본 연구에서는 학습자들이 제공받은 인공지능 기반 피드백에 대한 정서적 신뢰도를 사후에 측정하였기에 학습자가 본래 인공지능 시스템에 대해 가지고 있는 신뢰는 살펴보지 못했다는 한계가 있다. 따라서 후속 연구에서는 학습자가 본래 인공지능 시스템에 대해 가지고 있는 신뢰까지 종합적으로 고려함으로써 인공지능 시스템에 대한 학습자의 신뢰를 다각도로 탐색할 것을 제언한다.;In educational settings, feedback is crucial because it helps learners recognize the gap between their current performance and the desired state, encouraging them to improve their performance (Shute, 2008). Recent progress in deep learning and artificial neural networks has enabled the analysis of complex patterns in large volumes of textual data, facilitating the provision of personalized feedback. AI-powered feedback can overcome the limitations of traditional educational approaches by reducing instructors' workload and ensuring that learners receive real-time feedback. AI-powered feedback has been extensively studied and implemented across various subject areas and educational contexts, particularly in teaching writing. Teaching writing involves managing a large volume of essays from learners; as the learner-to-instructor ratio increases, so does the instructors' workload, thereby intensifying the need for AI-powered feedback. AI-powered feedback allows instructors to focus on more in-depth writing instruction. Furthermore, there are significant pedagogical benefits for learners, who can revise their writing numerous times and enhance its quality by accessing feedback from an AI-powered system at their convenience. The ultimate purpose of providing feedback is to improve learner performance. Therefore, feedback must be understood and effectively utilized by the learner to achieve its intended purpose. From a constructivist perspective, it is crucial that feedback is provided in a manner that enables learners to comprehend and apply it to improve their own performance. To enhance the effectiveness of AI-powered feedback, it is essential to understand how learners actually use the feedback provided by these AI-powered systems and consider the learner characteristics that influence how they make use of AI-powered feedback. A review of prior studies suggests that factors such as learners' English writing performance, their self-efficacy in writing, and their affective trust in AI-powered feedback can influence whether they accept the feedback. Hence, this study explored how learners use AI-powered feedback and examined whether differences exist in utilizing AI-powered feedback based on these learner characteristics. Furthermore, the study aims to understand what constitutes ‘the effective use of AI-powered feedback’ by investigating potential differences in feedback usage between learners who showed significant improvements in writing performance and those who did not. The research questions are as follows. RQ1. How do learners use AI-powered feedback in English writing activities, and what is the rationale behind their use? RQ2. Are there differences in learners' use of AI-powered feedback in English writing activities depending on learner characteristics? 2-1. Is there a difference in learners' use of AI-powered feedback in English writing activities depending on their English writing performance? 2-2. Is there a difference in learners' use of AI-powered feedback in English writing activities depending on their English writing self-efficacy? 2-3. Is there a difference in learners' use of AI-powered feedback in English writing activities depending on their affective trust in AI-powered feedback? RQ3. Is there a difference in learners' use of AI-powered feedback in English writing activities depending on the improvement in writing performance? A total of 38 undergraduate students in Seoul, South Korea, participated in this study and were asked to perform an English writing task using Grammarly, an AI-powered feedback system. The experiment began with participants completing a questionnaire on their English writing self-efficacy. They then composed their first drafts on a given English writing topic and revised them using feedback provided by Grammarly. The revision process was documented using a computer screen recorder. After completing their revisions, they were asked to fill out a subsequent questionnaire regarding their emotional trust in AI-powered feedback, their experiences with AI-powered feedback, and their reasons for using feedback in specific ways. The data collected included the first and revised drafts, screen recordings, and questionnaire responses. To investigate the behaviors associated with the use of AI-powered feedback, the feedback provided to learners was divided into two types—corrective and suggestive. The analysis then focused on examining the proportion of learners' behaviors in using AI-powered feedback within each type. In addition, responses to open-ended questions were examined to further explore the underlying reasons for learners' behaviors in using feedback. Next, to examine the differences in feedback use according to learner characteristics, the learners were divided into two groups based on each variable. Independent samples t-tests were conducted to analyze the differences between groups for variables such as English writing performance, English writing self-efficacy, and affective trust in AI-powered feedback. The distributions were visualized using scatter plots to further investigate the tendencies in AI-powered feedback use relative to each variable. Third, to determine differences in learners’ behaviors of using AI-powered feedback in relation to increased gains in writing performance, learners were categorized into two groups—those who showed significant improvements in writing performance and those who showed little or no improvement. A Mann-Whitney U test was performed to evaluate these differences. The conclusions and implications of this study are summarized as follows. First of all, the analysis of AI-powered feedback use behavior revealed a high overall acceptance rate of 83.15% among learners. In particular, most corrective feedback (92.63%) was fully accepted, while only a small percentage (3.46%) was rejected. This high acceptance rate can be attributed to feedback on grammar, spelling, and punctuation— areas where correctness is clearly defined. This result suggests that learners are more likely to accept corrective feedback unless they judge it to be inaccurate based on their prior knowledge. Conversely, for suggestive feedback aimed at improving expression, 66.92% was fully accepted, and 27.02% was fully rejected. Learners reported rejecting this type of feedback when it failed to capture their original intent or context. These findings indicate that learners' behaviors in using feedback vary depending on whether the feedback pertains to areas with definitive right or wrong answers. Decisions on how to incorporate feedback into revisions are influenced by their judgments of the feedback's accuracy in the case of corrective feedback and on its relevance or appropriateness to the learners' intended meaning or context in the case of suggestive feedback. Second, the analysis of the differences in AI-powered feedback use by learner characteristics revealed significant differences in English writing self-efficacy and affective trust in AI-powered feedback. It was found that learners with low English writing self-efficacy tended to accept AI-powered feedback more frequently than those with high English writing self-efficacy. Responses to open-ended questions suggest that a low belief in one's writing competency leads to a greater reliance on the AI-based system's feedback over personal judgment. These findings indicate that learners with low self-efficacy in writing may accept feedback without much critical thinking, primarily due to a lack of confidence in their abilities. This underscores the need to support learners in making decisions about utilizing feedback based on rational and valid reasons after exerting sufficient cognitive effort. Learners who demonstrated high affective trust in AI-powered feedback were more likely to accept it compared to those with low affective trust. This tendency was especially notable in the case of corrective feedback, where learners reported greater trust in the AI-powered system for feedback on areas with right or wrong answers, such as grammatical errors. These findings suggest that the more a learner regards an AI-powered feedback system as a reliable source, the more likely they are to accept the feedback. Therefore, ongoing efforts are necessary to enhance the accuracy of feedback aimed at correcting errors to ensure that learners' acceptance leads to improved writing quality. While no statistically significant differences were found between groups with high and low English writing performance, further analysis of mean differences and open-ended questionnaire responses revealed that learners with high writing performance exhibited relatively lower acceptance and higher rejection behaviors. This tendency may be attributed to the likelihood that learners with higher writing performance possess sufficient prior knowledge, which enables them to make more informed judgments about the accuracy and contextual relevance of the feedback. Third, no significant differences were revealed in the use of corrective feedback depending on improvement in writing performance after receiving AI-powered feedback. However, learners with notable improvements in their writing more frequently rejected suggestive feedback. This result suggests that learners who successfully improved the quality of their essays may have been more discerning about the feedback's appropriateness, selectively accepting or rejecting it based on the context of their essays. Thus, it is crucial that AI-based feedback systems are designed to support learners in making rational decisions based on the feedback's relevance. Additionally, when implementing AI-powered feedback in classrooms, designing activities that encourage learners to critically evaluate their reasons for accepting or rejecting feedback may be beneficial. Last but not least, learners often rejected AI-powered feedback not because they disagreed with the content but because the feedback lacked detail or did not align with their specific writing contexts. To maximize the benefits of AI-powered feedback, explanations must be more precisely customized to meet learners' needs. Future research and practice should continue to focus on enhancing the adaptability of AI-enabled automated feedback. This will enable learners to better understand and appreciate the feedback, leading to more informed decisions and actions on how to utilize it. The present study's limitations and directions for future research are as follows: First, as the data was collected from a specific demographic and educational level, further research should be conducted in more diverse contexts. Second, since the study was conducted as a single-session activity in an experiment, future research should gather data from classroom settings over multiple sessions to explore instructional design methods that can support learners. Third, this study only measured learners' post-experiment affective trust in AI-powered feedback without considering their initial trust in AI-powered feedback systems. Future research could extend our understanding of learners’ trust in AI technologies by examining the impact of their inherent trust levels in AI-based systems.