AI 기반 글쓰기 평가 시스템을 활용한 활동이 초등학생의 글쓰기 성취도와 정의적 영역에 미치는 효과

Abstract

본 연구는 AI 기반 글쓰기 평가 시스템을 활용한 글쓰기 활동이 초등학생의 글쓰기 성취도와 글쓰기 정의적 영역에 미치는 효과를 검증하는 데 목적이 있다. 최근 교육 현장에서는 서술형·논술형 평가의 중요성이 강조되고 있으나, 글쓰기 평가는 교사의 채점 및 피드백 부담이 크다는 한계를 지닌다. 특히 글쓰기 피드백은 학생의 주장, 근거, 조직, 표현 등을 종합적으로 검토해야 하며, 학습자의 수준과 특성을 고려한 개별화된 지도가 요구된다. 이러한 상황에서 AI 기반 글쓰기 평가 시스템은 즉각적이고 반복 가능한 피드백을 제공함으로써 교사의 부담을 완화하고 학습자의 글쓰기 경험을 지원할 수 있는 도구로 주목받고 있다. 본 연구는 R사 가맹 학원에 재원 중인 초등학교 6학년 학생 48명을 대상으로 실시되었다. 연구 참여자는 AI 기반 글쓰기 평가 시스템을 활용한 실험집단 24명과 전통적 교사 피드백을 제공받은 통제집단 24명으로 구성되었다. 두 집단은 사전 글쓰기 성취도 검사와 글쓰기 정의적 영역 검사를 실시한 후, 총 2회에 걸쳐 글쓰기 활동과 피드백 처치를 경험하였다. 실험집단은 AI 기반 글쓰기 평가 시스템을 통해 문항 생성 및 피드백을 제공받았고, 통제집단은 교사가 직접 제작한 문항과 교사 피드백을 제공받았다. 처치 후에는 사후 글쓰기 성취도 검사와 글쓰기 정의적 영역 검사를 실시하였다. 글쓰기 정의적 영역은 Wright 외（2019）의 SWAS를 바탕으로 글쓰기 태도, 글쓰기 신념, 자기개념, 자기효능감으로 구분하여 측정하였다. 또한 양적 분석 결과를 보완하기 위해 실험집단 학생 6명을 대상으로 반구조화 면담을 실시하였다. 수집된 자료는 SPSS를 활용하여 분석하였다. 먼저 채점자 간 신뢰도를 확인하기 위해 급내상관계수（ICC）를 산출하였으며, 사전검사와 사후검사 모두에서 높은 수준의 채점자 간 일치도가 확인되었다. 다음으로 실험집단과 통제집단의 사전 동질성을 확인하기 위해 독립표본 t-검정을 실시하였고, 글쓰기 성취도와 글쓰기 정의적 영역 모두에서 두 집단 간 유의한 차이가 나타나지 않아 사전 동질성이 확보되었다. 이후 사전 점수를 공변인으로 설정한 공분산분석（ANCOVA）을 통해 집단 간 사후 점수 차이를 검증하였다. 연구 결과는 다음과 같다. 첫째, 글쓰기 성취도에서는 실험집단과 통제집단 모두 사후 점수가 향상되었으나, 사전 점수를 통제한 이후 집단 간 차이는 통계적으로 유의하지 않았다. 이는 AI 기반 글쓰기 평가 시스템이 전통적 교사 피드백보다 통계적으로 우월한 성취도 향상 효과를 보였다고 단정하기는 어렵지만, 향상 양상과 면담 결과를 고려할 때 교육적 활용 가능성을 시사한다. 둘째, 글쓰기 정의적 영역 전체에서는 실험집단이 통제집단보다 유의하게 높은 사후 점수를 보였다. 셋째, 정의적 영역의 하위요인 분석 결과, 자기개념과 자기효능감에서는 실험집단이 통제집단보다 유의하게 높은 점수를 보였으나, 글쓰기 태도와 글쓰기 신념에서는 유의한 차이가 나타나지 않았다. 이는 AI 기반 피드백이 글쓰기 활동 자체에 대한 정서적 선호나 가치 인식을 단기간에 변화시키기보다는, 학습자가 자신의 글쓰기 능력을 긍정적으로 인식하고 과제를 수행할 수 있다는 자신감을 형성하는 데 보다 직접적으로 작용했음을 의미한다. 면담 결과에서도 학생들은 AI 피드백을 통해 자신의 글에서 부족한 점을 쉽게 확인할 수 있었고, 글을 고쳐 쓰는 과정에서 자신감이 생겼다고 응답하였다. 반면 일부 학생들은 AI 피드백의 설명이 어렵거나 교사의 추가 설명이 필요하다고 인식하였다. 이는 AI 기반 글쓰기 평가 시스템이 학습자의 자기점검과 자신감 형성에는 긍정적으로 작용할 수 있으나, 피드백의 의미를 해석하고 사고를 확장하는 과정에서는 여전히 교사의 역할이 중요함을 보여준다. 종합하면, 본 연구는 AI 기반 글쓰기 평가 시스템이 초등학생의 글쓰기 성취도 향상에서 교사 피드백과 유사한 수준의 가능성을 보이며, 특히 글쓰기 자기개념과 자기효능감 향상에 긍정적인 영향을 미칠 수 있음을 확인하였다. 또한 AI 기반 피드백은 즉각성, 반복 가능성, 일관성이라는 정보적 가치를 바탕으로 학습자의 자기점검을 지원하고, 이러한 경험이 학습자의 자신감과 긍정적 자기인식으로 이어질 수 있음을 보여주었다. 따라서 AI 기반 글쓰기 평가 시스템은 교사를 대체하는 도구라기보다, 교사의 피드백 부담을 완화하고 학습자의 글쓰기 과정을 지원하는 보완적 도구로 활용될 필요가 있다. 향후 연구에서는 장기적 처치, 다양한 학년 및 학교급, AI 피드백과 교사 피드백의 결합 모델을 중심으로 후속 연구가 이루어질 필요가 있다.;The purpose of this study was to investigate the effects of AI-based writing evaluation system-supported writing activities on elementary school students’ writing achievement and affective domain of writing. Although the importance of writing education has been increasingly emphasized in recent years, teachers often experience considerable difficulty in providing timely and individualized feedback due to the substantial workload associated with assessing students’ writing. In response to this challenge, AI-based writing evaluation systems have attracted attention as tools that can provide immediate, consistent, and personalized feedback while reducing teachers’ assessment burden. The participants in this study were 48 sixth-grade students enrolled in an R Academy. The students were assigned to either an experimental group （n = 24）, which used an AI-based writing evaluation system, or a control group （n = 24）, which received traditional teacher feedback. Prior to the intervention, both groups completed a writing achievement test and a writing affective domain survey. The intervention consisted of two writing activities followed by feedback sessions. The experimental group received AI-generated feedback through the writing evaluation system, whereas the control group received feedback directly from teachers. After the intervention, both groups completed posttests measuring writing achievement and affective outcomes. The affective domain was assessed using the Self-Beliefs, Writing-Beliefs, and Attitude Survey （SWAS; Wright et al., 2019）, which measures writing attitude, writing beliefs, self-concept, and writing self-efficacy. In addition, semi-structured interviews were conducted with six students from the experimental group to complement the quantitative findings. Data were analyzed using SPSS. Inter-rater reliability was examined using Intraclass Correlation Coefficients （ICC）, and high levels of agreement were found for both the pretest and posttest writing assessments. Independent samples t-tests confirmed the homogeneity of the two groups before the intervention. To examine group differences while controlling for pretest scores, Analysis of Covariance （ANCOVA） was conducted. The results revealed that both groups improved their writing achievement scores after the intervention; however, no statistically significant difference was found between the groups after controlling for pretest scores. This finding suggests that the AI-based writing evaluation system demonstrated a level of effectiveness comparable to traditional teacher feedback in improving writing achievement. In contrast, significant differences were found in the overall affective domain of writing. Students in the experimental group reported significantly higher affective domain scores than those in the control group. Further analyses of the subdomains indicated significant improvements in writing self-concept and writing self-efficacy for the experimental group, whereas no significant differences were found in writing attitude or writing beliefs. The interview results further supported these findings. Students reported that the AI feedback helped them identify weaknesses in their writing more easily and increased their confidence in revising their work. However, some participants noted that certain feedback explanations were difficult to understand and required additional clarification from teachers. These findings suggest that while AI-based feedback can effectively support self-monitoring and confidence development, teachers remain essential in helping students interpret feedback and engage in deeper cognitive processes. In conclusion, this study found that an AI-based writing evaluation system can support writing achievement at a level comparable to traditional teacher feedback and can positively influence students’ writing self-concept and self-efficacy. The findings highlight the informational value of AI feedback through its immediacy, consistency, and repeatability, as well as its motivational value in fostering learners’ confidence and positive self-perceptions. Therefore, AI-based writing evaluation systems should be viewed not as replacements for teachers but as complementary tools that support both teachers and students in the writing process. Future research should examine the long-term effects of AI-based feedback across diverse educational settings and explore collaborative models that integrate AI and teacher feedback.