AI 말하기 피드백 시스템이 한국어 학습자의 말하기 능력과 자기효능감에 미치는 영향

Abstract

본 연구의 목적은 STT(Speech-to-Text), GPT, TTS(Text-to-Speech) 기술을 활용해 한국어 AI 말하기 피드백 시스템을 시범적으로 개발하고, 이러한 AI 피드백이 초·중급 학습자의 말하기 능력과 말하기 자기효능감에 미치는 영향을 분석하는 데 있다. 말하기 교육에서 피드백은 학습자의 의사소통 능력 향상을 위해 필수적이지만, 실제 교실 상황에서는 교사의 시간적, 인지적 부담과 수업 환경의 한계로 인해 충분한 개별 피드백이 제공되기 어렵다. 최근 교육 분야에서는 이러한 공백을 보완하기 위해 AI 기반 말하기 학습이 활발히 시도되고 있으나, 한국어교육에서는 관련 연구 및 학습 애플리케이션이 여전히 부족한 실정이다. 더구나 초급 학습자에게는 AI 사용 자체가 말하기 수행과 더불어 높은 인지적 부담으로 작용한다는 어려움이 있다. 이에 본 연구는 AI 리터러시에 익숙하지 않은 초·중급 학습자도 사용할 수 있도록 구조화된 STT, 생성형 AI, TTS 기반의 AI 말하기 피드백 시스템을 개발하고, 이를 실제 네덜란드인 초·중급 한국어 학습자에게 적용하여 학습자의 말하기 능력과 말하기 자기효능감에 어떠한 영향을 미치는지 살펴보고자 한다. Ⅰ장에서는 본 연구의 목적을 밝히고 선행 연구 검토를 통하여 본 연구의 필요성을 확인하였다. 이를 위해 설정한 연구 문제는 다음과 같다. 첫째, AI 말하기 피드백 시스템이 한국어 학습자의 말하기 능력에 어떠한 영향을 미치는지를 확인하는 것이다. 둘째, AI 말하기 피드백 시스템이 한국어 학습자의 말하기 자기효능감에 어떠한 영향을 미치는지를 확인하는 것이다. Ⅱ장에서는 STT, GPT, TTS 기반의 AI 말하기 피드백 시스템이 네덜란드인 초·중급 학습자의 말하기 능력과 말하기 자기효능감에 미치는 영향을 살피기 위한 이론적 토대를 마련하였다. 먼저 한국어 말하기 교육에서의 말하기 능력과 피드백의 개념 및 유형을 정리하고, 본 연구에서 활용한 생성형 인공지능 기술과 개념의 특징을 살펴보았다. 마지막으로 한국어교육에서의 말하기 자기효능감의 개념과 구성 요인을 검토하여 본 연구의 분석 틀을 제시하였다. Ⅲ장에서는 본 연구에서 개발한 AI 말하기 피드백 시스템의 구조를 설명하고, 실험 절차와 연구 방법을 기술하였다. 말하기 능력과 말하기 자기효능감의 변화를 측정하기 위해 두 차례의 반복 실험에서 사전·사후 발화 녹음을 실시하고 두 명의 평가자가 이를 채점하였으며, 사전·사후 말하기 자기효능감 설문을 실시하여 말하기 자기효능감을 측정하였다. 연구에는 네덜란드인 초·중급 학습자 20명이 참여하였으며, 수집된 자료는 정규성 검정을 거쳐 대응표본 t-검정과 Wilcoxon 부호순위 검정으로 분석하였다. Ⅳ장에서는 연구 문제에 따른 연구 결과를 분석하였다. 첫째, AI 피드백 시스템의 사용이 학습자의 말하기 능력에 미치는 영향을 확인하기 위해 사전·사후 발화 자료를 통해 말하기 능력 총점, 영역별 점수, 보조지표인 평균 어절 수와 초당 어절 수, 학습자 사례를 분석하였다. 그 결과, 두 실험 모두 말하기 능력 총점에서 통계적으로 유의한 향상이 나타났다. 영역별 점수에서는 내용 및 과제 수행 영역에서 가장 큰 향상이 확인되었으며, 언어 사용 영역은 실험 1에서만 유의하였다. 발화 전달력 영역은 두 실험 모두 유의하지 않았다. 보조지표에서는 발화량 증가와 발화 속도의 유의한 향상이 관찰되었다. 학습자 사례 분석 결과, 과제 수행 보완 및 내용 확장, 어휘, 시제, 조사, 연결 어미 사용, 발음 등 다양한 측면에서 발화 개선 사례가 확인되었으며, 한편 중간언어적 오류와 발음 인식 오류 사례도 함께 관찰되었다. 둘째, AI 피드백 시스템의 사용이 학습자의 말하기 자기효능감에 미치는 영향을 확인하기 위해 사전·사후 설문 자료를 통해 말하기 자기효능감의 총점, 영역별 점수, 문항별 점수를 분석하였다. 그 결과 두 실험 모두 말하기 자기효능감 총점에서 통계적으로 유의한 향상이 나타났다. 영역별 점수에서는 두 실험 모두 내용 및 과제 수행 효능감, 언어 사용 효능감, 정서 및 상황 극복 효능감에서 유의한 향상이 확인되었으나, 발화 전달력 효능감은 실험 1에서만 유의하였다. 문항별 점수에서는 실험 1의 경우 ‘주제’, ‘세부 사항과 예시’, ‘문법’, ‘어휘’, ‘발음’, ‘긴장 상황’, ‘돌발 질문 대응’에서 유의한 향상이 나타났으며, 실험 2에서는 ‘주제’, ‘논리’, ‘세부 사항과 예시’, ‘문법’, ‘억양’에서 유의한 향상이 확인되었다. Ⅴ장에서는 연구 결과를 요약하고 본 연구가 가지는 의의와 한계 및 후속 연구 방향을 제언하였다. 본 연구는 STT, GPT, TTS를 결합한 구조화된 AI 말하기 피드백 시스템을 시범적으로 개발하고, 이를 실제 네덜란드인 초·중급 학습자에게 적용하여 말하기 능력과 말하기 자기효능감에 미치는 영향을 검증하였다. 기존 연구가 개별 기술 활용에 머무르거나 개발 연구에 그쳤다면, 본 연구는 통합된 AI 말하기 피드백 시스템을 개발하고 AI 피드백의 실질적 효과를 확인하여 AI 말하기 학습 도구로서의 가능성과 교육적 가치를 시범적으로 제시하였다는 의의가 있다. 아울러 본 연구는 소규모 표본, 단기 실험, 기술적 한계 등의 제약을 지니고 있지만, 후속 연구에서는 이러한 한계를 보완하여 자기주도적 학습 도구로서의 AI 말하기 피드백을 심층적으로 탐구하기를 기대하는 바이다.;The purpose of this study is to develop a pilot Korean AI speaking feedback system using STT (Speech-to-Text), GPT, and TTS (Text-to-Speech) technologies, and to analyze the effects of this AI feedback on the speaking ability and speaking self-efficacy of beginner to intermediate Korean learners. In speaking education, feedback is essential for improving learners’ communicative competence; however, in actual classroom settings, it is often difficult to provide sufficient individualized feedback due to teachers’ workload and instructional constraints. Although AI-based speaking practice has recently been adopted in the broader field of education to address this gap, research and learning applications utilizing AI remain limited in Korean language education. Furthermore, for beginner to intermediate learners, using AI tools may impose an additional cognitive load alongside speaking tasks. Therefore, this study aims to develop a structured AI speaking feedback system based on STT, GPT, and TTS that can be easily used by beginner to intermediate learners unfamiliar with AI literacy, and to examine how this system affects the speaking ability and speaking self-efficacy of Dutch Korean language learners. Chapter Ⅰ presents the purpose of the study and identifies its necessity through a review of previous research. Based on this, the following research questions were established: (1) What effects does the AI speaking feedback system have on Korean learners’ speaking ability? (2) What effects does the AI speaking feedback system have on Korean learners’ speaking self-efficacy? Chapter Ⅱ provides the theoretical foundation for examining the effects of an AI speaking feedback system—based on STT, GPT, and TTS—on the speaking ability and speaking self-efficacy of beginner to intermediate Dutch learners of Korean. It reviews the concepts and types of speaking ability and feedback in Korean speaking education, outlines the characteristics of the generative AI technologies used in the study, and examines the concept and components of speaking self-efficacy in order to establish the analytical framework. Chapter Ⅲ describes the structure of the AI speaking feedback system developed for the study, as well as the experimental procedures and research methods. To measure changes in speaking ability and speaking self-efficacy, pre- and post-speaking recordings were collected across two repeated experiments and evaluated by two raters. Pre- and post-surveys were also administered to measure self-efficacy. A total of 20 beginner to intermediate Dutch learners of Korean participated, and the collected data were analyzed using paired-samples t-tests and Wilcoxon signed-rank tests after normality testing. In Chapter Ⅳ, the results were analyzed according to the research questions. For speaking ability, pre- and post-speaking data were examined, including total speaking scores, domain-specific sub-scores, auxiliary indicators such as average number of eojeols and eojeols per second, and learner cases. Both experiments showed statistically significant improvement in total speaking scores. The greatest improvement was observed in the “content and task performance” domain, while the “language use” domain was significant only in Experiment 1. The “delivery” domain was not significant in either experiment. The auxiliary indicators showed increases in speaking volume and rate. Learner case analysis revealed improvements in task performance, content elaboration, vocabulary, tense, particle and connective ending use, and pronunciation, along with instances of interlanguage errors and pronunciation-recognition errors. For speaking self-efficacy, analysis of total scores, domain scores, and item-level scores likewise demonstrated statistically significant improvement in both experiments. At the domain level, “content and task performance self-efficacy,” “language use self-efficacy,” and “emotional and situational coping self-efficacy” improved significantly in both experiments, while “delivery self-efficacy” was significant only in Experiment 1. Item-level analysis showed that Experiment 1 produced significant improvement in topic, details and examples, grammar, vocabulary, pronunciation, speaking under tension, and responding to unexpected questions. Experiment 2 showed significant improvement in topic, logical organization, details and examples, grammar, and intonation. Chapter Ⅴ summarizes the findings and presents the implications, limitations, and directions for future research. This study developed a structured AI speaking feedback system integrating STT, GPT, and TTS, and applied it to beginner to intermediate Dutch learners of Korean to examine its effects on speaking ability and speaking self-efficacy. While previous studies focused on individual technologies or system development, this study is significant in that it implemented and validated an integrated system, demonstrating its potential and educational value as a supplementary tool for AI-based speaking practice. Despite limitations such as the small sample size, short experimental period, and technical constraints, the study highlights the need for future research to address these limitations and further explore AI speaking feedback as a tool for self-directed learning.