Effects of Oral Interaction with AR-based AI Chatbots on ESL Learners’ Speaking Competence, Interaction Management, Communication Strategies, and Affective Aspects

Abstract

인공지능 기술은 영어 교육 현장에 혁신적인 변화를 가져왔고, 전통적인 교수 방법을 끊임없이 변화시키고 있다. 특히, 인공지능 기반 소프트웨어 프로그램인 챗봇은 영어교육 현장에서 상당한 관심을 받고 있다. 최근 들어 인공지능 챗봇과 상호작용을 할 때 나타나는 학습자의 영어 말하기 능력 향상에 대한 연구들이 일부 시행되고 있으나, 영어 교육에서 인공지능 챗봇과의 구두 상호작용이 학습자의 영어 말하기, 의사소통 전략, 학습 태도와 인식에 미치는 영향을 분석한 실증연구는 매우 미흡하다. 더욱이, 챗봇과 학습자 간의 문자 채팅, 음성 채팅 효과와 관련된 연구들과 비교를 해볼 때, 가상과 현실을 이음새 없이 실시간으로 혼합한 증강현실 기술이 도입된 인공지능 챗봇과 학습자의 상호작용을 분석한 연구는 극히 드물다. 인공지능 챗봇의 언어 구사 능력이 더욱 정교하게 발전하고 있으며, 증강 현실과 같은 새로운 기술이 영어교육 현장에서 학습 도구로 점차 활용되고 있는 현시점에서, 이러한 첨단 기술의 도입이 학습자의 영어 교육에 미치는 영향과 효과에 대해 연구해 볼 필요성이 있다. 이에 본 연구의 목적은 증강 현실 기반 인공지능 챗봇과의 상호작용이 제2외국어로 영어를 배우는 학습자의 영어 말하기 능력, 구두 상호작용, 의사소통 전략, 그리고 정의적 측면에 미치는 효과가 학습자의 언어 능숙도 수준에 따라 어떻게 차이가 있는지를 파악하고, 학습자의 영어 말하기 능력 향상을 위한 효과적인 활용 방안을 모색하는 데 있다. 본 연구는 미국의 한 사립대학에서 14주 동안 시행되었고, 13개의 다른 언어를 모국어로 사용하는 61명의 성인 영어 학습자들이 연구에 참여했다. 인공지능 챗봇과 상호작용을 한 것이 학습자의 영어 말하기 능력에 미치는 영향을 알아보기 위해 두 개의 동일한 수업반을 선정하였고, 두 개의 반이 각각 다른 상대방과 상호작용을 하도록 하였다. 즉, 한 반은 인공지능 챗봇과 대화를 하고, 다른 한 반은 영어 원어민과 대화하도록 분류했다. 나아가 학습자의 영어 능력 수준에 따라 인공지능 챗봇과의 상호작용이 어떤 차이가 있는지를 조사하기 위해, 영어 능숙도 평가를 실시한 후, 평가 결과에 따라 학습자들을 상위 수준 집단과 하위 수준 집단으로 분류하였다, 인공지능 챗봇과 대화하는 집단은 상위 수준 학습자 15명과 하위 수준 학습자 16명, 원어민과 대화하는 집단은 상위 수준 학습자 15명과 하위 수준 학습자 15명으로 구성됐다. 모든 참가자들은 실험기간 동안 자신들의 대화 상대와 총 10번의 짝 모둠 말하기 활동에 참여하였고, 약 10분 동안 주어진 주제에 대해 자유롭게 토론하고 의견을 나누었다. 인공지능 챗봇과 원어민과의 상호작용이 참가자의 말하기 능력에 미치는 영향을 알아보기 위해 모든 참가는 단일 과제와 양방향 협업 말하기 과제의 두 가지 유형으로 구성된 사전, 사후 말하기 시험을 치렀다. 또한 증강현실 기반 인공지능과 상호작용을 한 참가자들의 실험 전과 후의 영어 학습 태도와 인식의 변화를 알아보기 위해 설문조사와 인터뷰가 진행되었다. 모든 대화 내용은 녹음이 되어 본 연구자에게 제출되었다. 본 연구의 주요 결과는 다음과 같다.첫째, 증강현실 기반 인공지능 챗봇과 상호작용은 영어 학습자의 말하기 능력 향상에 도움이 되었다. 말하기 능력 향상 측면에서 보았을 때 원어민과 상호작용하는 것보다 인공지능 챗봇과 대화를 하는 것이 말하기 능력 향상에 더 도움이 되었다. 그러나, 의사소통 능력 향상에 있어서는 원어민과 대화하는 것이 챗봇과 대화를 하는 것보다 학습자가 더욱 도움이 되었다. 또한, 영어 능숙도 수준에 따라 학습자의 말하기 능력이 어떻게 차이가 있는지와 관련하여, 본 연구 결과는 인공 지능 챗봇과 상호작용이 하위 수준의 학습자의 말하기 능력 향상에 도움을 주는 것으로 나타났다. 둘째, 증강현실 기반 인공지능 챗봇과의 대화가 학습자들의 상호작용에 미치는 영향과 관련하여 유의미한 결과가 도출되었다. 먼저, 의미협상과 관련하여, 본 연구 결과는 인공지능 챗봇과의 상호작용이 원어민과의 상호작용과 비교했을 때 더 많은 의미 협상을 촉진함을 밝혔다. 이는 챗봇과의 상호작용과 비교했을 때 원어민과 학습자와의 의사소통에서 의사소통 문제 발생이 적음을 시사한다. 또한, 학습자가 챗봇과 상호작용을 할 때 발생되는 의미협상 양상과 면대면 상호 작용에서 일어나는 의미협상의 양상이 유사한 것으로 나타났는데, 이는 인공지능 챗봇과의 상호작용이 대면으로 이루어지는 상호작용이 가지는 이점 또한 가지고 있음을 시사한다. 학습자의 언어 능력 수준에 대한 차이를 살펴보면, 챗봇과의 상호작용은 하위 수준의 참여자들에게 더 많은 의미 협상 기회를 제공하는 것으로 나타났다. 셋째, 증강현실 기반 인공지능 챗봇과의 구두 상호작용이 학습자의 의사소통 전략에 미치는 영향을 알기 위하여, Goh 와 Burns (2012)의 의사소통 전략 모델을 토대로 학습자의 인지적 전략, 상호작용 전략, 메타 인지 전략 중 하나인 오류 수정 전략이 분석되어졌다. 먼저, 인지적 전략 사용을 분석해 본 결과, 참가자들은 인공지능 챗봇 혹은 원어민과 대화할 때 자신의 언어적 한계를 극복하고자 다양한 인지적 전략을 사용하였으며, 특히 문장이나 구절을 다르게 표현하는 패러프레이즈(Paraphrase) 전략을 가장 많이 사용하였다. 또한, 증강현실 기반 인공지능 쳇봇과 대화를 하는 것 보다 원어민들과 대화 하는 것이 학습자들의 인지 전략 사용 기회를 더 많이 제공하고, 인지 전략을 강화 시키는데 더 도움이 되는 것으로 밝혀졌다. 학습자의 상호 작용 전략 분석 결과, 인공지능 챗봇과 상호 작용을 한 참여자들은 시간이 지남에 따라 더 다양한 상호 작용 전략을 활용하고, 의사소통 문제를 해결하기 위해 여러 가지 전략을 사용하였으나, 인지적 전략을 사용할 때와 마찬가지로 학습자는 원어민과 대화할 때 더욱 활발하게 상호작용 전략을 사용한 것을 확인할 수 있었다. 한편, 학습자의 언어 숙련도와 관련하여, 상위수준 학습자들은 하위수준 학습자들에 비해 상호작용 전략과 인지 전략을 더 많이 사용하였는데 이는 선행 연구들의 결과를 뒷받침하고 있다(Salahshour et al., 2013; Sotillo, 2000). 마지막으로, 학습자의 메타 인지 전략 사용을 알아보기 위해 학습자의 오류 교정 양상을 분석한 결과, 인공지능 챗봇과 상호작용을 한 학습자들이 자신의 오류를 더 많이 수정하고 여러 가지 전략을 사용하여 오류를 스스로 교정하는 것으로 나타났다. 이는, 인공지능 챗봇과 대화를 할 때 학습자가 심리적 부담이나 걱정 없이 자신들의 오류를 편하게 수정할 수 있음을 시사한다. 넷째, 증강현실 기반 인공지능 챗봇과의 상호작용이 학습자의 정의적 측면에 미치는 영향에서는 챗봇과의 대화가 학습자의 동기를 향상시키고, 불안감을 감소시키는 것으로 나타났다. 또한 대부분의 참여자는 챗봇을 활용한 영어 말하기 활동이 영어 학습에 도움이 되고 유용하다고 밝혔으며, 이는 학습자와의 인터뷰를 통해서도 재차 확인되었다. 학습자들은 말하기 연습을 위해 인공지능 챗봇과 상호작용하는 것에 대해 긍정적인 반응을 보였는데, 특히 하위 수준의 학습자들이 증강현실 기반 인공지능 챗봇과 대화하는 것에 대한 인식과 태도가 긍정적으로 나타났다. 본 연구는 증강현실 기반 인공지능 기술을 이용한 구두 상호작용이 학습자의 영어 의사소통 능력 함양에 긍정적인 영향을 미칠 뿐만 아니라 학습자에게 더 많은 영어 구사의 기회를 제공해 준다는 실증적 증거를 제공한다. 또한, 영어 말하기 수업에서 증강현실 기반 인공지능 챗봇의 활용은 학습자의 영어 학습 동기와 흥미를 유발하고, 영어 말하기의 발음과 정확도를 향상시키는데 효과적이라는 의미 있는 교육적 시사점을 제시한다. 비록 인공지능 챗봇 기술은 맥락과 상황에 맞는 유의미한 의사소통을 오랜 기간 지속할 수는 없지만, 본 연구 결과는 학습자의 말하기 능력을 극대화할 수 있는 학습 도구로서 증강현실 기반 인공지능 챗봇의 잠재적인 교육적 가치를 보여주었다. 따라서, 교수자는 인공지능 챗봇의 장단점을 파악하여, 학습목표에 따라 증강현실 기반 인공지능 챗봇을 활용한 말하기 과업을 체계적으로 설계하고, 학습자의 수준과 수업 환경을 종합적으로 고려하여 학습자에게 유의미한 학습 경험을 제공하기 위한 전략적인 방안을 모색할 필요가 있다.;Artificial intelligence (AI) technology has brought revolutionary changes to the SLA paradigm, constantly transforming traditional methods of teaching and learning. Specifically, an AI chatbot, a human-like software program powered by AI technology and intended to increase human interaction, has dramatically evolved in recent years, attracting considerable attention from pedagogical communities. Despite the increased interest, however, the simulated meaningful conversations between AI chatbots and language learners are still an area that has not been explored thoroughly by SLA. In particular, little is known about the pedagogical impacts of interaction with an AR-based AI chatbot, which combines the two cutting-edge technologies of the 21st century, AI chatbot technology and augmented reality (AR) technology in language learning. Given that today’s technology is gradually reaching a point where language learners and AI chatbots can have natural conversations and that different advanced technologies are increasingly being integrated and used to accomplish learning goals, it is essential to determine whether the existing principles of SLA which are applied to human-to-human interactions can also be applied to the new form of interactions between the AR-based AI chatbot and the language learner. In addition, it is necessary to thoroughly review whether the use of combined technologies, the AR-based AI chatbot, can be effectively served as a learning resource in language learning. Thus, the overreaching goal of the study is to investigate the effects of spoken interaction with AR-based AI chatbots on ESL learners’ speaking competence, interaction management, communication strategies, and affective aspects. 61 adult ESL learners representing 13 different L1 backgrounds participated in this study and the whole experiment was administered in a private college in the United States. Two identical classes were recruited and divided into two different interaction groups: the AI-to-non-native ESL speaker (AI-NNS) dyad group and the native speaker-to-non-native ESL speaker (NS-NNS) dyad group. Further, participants were split into two proficiency levels based on the placement test results: low-level and high-level. 15 high-level and 16 low-level participants were in the AI-NNS group and 15 high-level and 15 low-level participants were in the NS-NNS group. During the fourteen-week experiment, the participants took part in interactive speaking exercises in pairs with their interlocutors, either the AR-based AI chatbots or the native English speakers. To be precise, participants in the AI-NNS group had one-on-one synchronous interaction with a 3D AI avatar, Replika in an Augmented Reality (AR) environment, while those in the NS-NNS group had one-on-one video conferencing with an American native speaker using the Zoom platform. All participants had ten interaction sessions over the period of the experiment. In each session, they interacted with an AR-based AI chatbot or a native speaker about a pre-selected topic for about 10 minutes. To examine the effects of interactions with AR-based AI chatbots and native speakers on the participants’ speaking competence, all participants took the pre-and post-speaking tests consisting of two different types of tasks: a monologic task and a two-way collaborative speaking pair task. Moreover, to determine if participants’ attitudes toward learning English and their perceptions of technology use for interactions changed over time, the pre-and post-questionnaires were administrated. Besides, to discover more about participants’ reactions to interaction with AR-based AI chatbots, the semi-structured interview was carried out. The following are the main results and suggestions of the study. First, relating to the effects of spoken interaction with AR-based AI chatbots on ESL learners’ speaking competence, the findings show that engaging in interaction with AR-based AI chatbots brought a positive effect on ESL learners’ speaking competence and was more beneficial than interacting with native speakers in terms of L2 speaking improvement. However, the results show that having interactions with native speakers had a more positive effect on building better interactive communication skills than talking to conversational AI chatbots. Concerning the effects on the improvement of speaking competence across different proficiency levels, the findings indicate that low-level participants could benefit more from having verbal exchanges with AR-based AI chatbots. Second, as for interaction management, participants who interacted with AR-based AI chatbots generated more negotiated interactions than those who conversed with native speakers, suggesting that more communication breakdowns occurred when learners conversed with AI chatbots compared to when they talked to native speakers. With reference to the routines of the meaning negotiation, the routines in the AI-NNS dyad group followed four phrases (T-I-R-RR) in the model of Varonis and Gass (1985). However, the negotiated interactions in the AI-NNS dyad group did not reach the confirmation and re-confirmation levels mentioned in Smith’s (2003) model, implying that interactions with AR-based AI chatbots have similar characteristics to face-to-face conversations. Regarding proficiency levels, the findings confirm that engaging in interactions with AR-based AI chatbots provided the low-level participants with more opportunities to negotiate meaning compared to the high-level participants. Third, in terms of the effects of interaction with AR-based AI chatbots on learners’ communication strategies proposed by Goh and Burns (2012), the findings show that participants who were involved in conversations with AR-based AI chatbots employed cognitive strategies over time, particularly the paraphrase strategy significantly more than other types of cognitive strategies in order to compensate for their limited L2 knowledge. In regard to interactional strategies, participants employed different types of interactional strategies when talking to an AR-based AI chatbot to deal with communication difficulties and exchange messages and they used more interaction strategies over time. As for the group differences, however, the results indicate that the participants employed more diverse interactional communication strategies when conversing with human native English speakers, suggesting that human native speakers are the better conversational partners to develop learners’ interactional strategy skills.With respect to repair strategies, the findings show that participants self-corrected their errors and produced different types of repair patterns more as a result of talking with AR-based AI chatbots, implying that learners would correct their errors when interacting with AI machine without worrying about losing face in an individualized stress-free manner. In the matter of proficiency levels, high-level learners used more communication strategies than low-level learners, which is supported by previous studies (Salahshour et al., 2013; Sotillo, 2000). Fourth, regarding the effects of interactions with AR-based AI chatbots on learners’ affective aspects, there were significant differences statistically in relation to motivation, anxiety, willingness to interact, and usefulness for language learning. The results demonstrate that the AR-based AI chatbot could be a useful learning tool that motivates learners to learn and reduces their L2 speaking anxiety. Through the interview, it was confirmed that participants had positive experiences in interacting with AR-based AI chatbots for speaking practice. As for the proficiency levels, low-level learners had a more positive perception and attitude toward talking to AR-based AI chatbots. The present study provides empirical evidence that synchronous spoken interaction with AR-based AI chatbots is effective in L2 learning and positively affects ESL learners’ speaking. The perceived effectiveness of AI-based interaction for L2 speaking improvement, as confirmed by the current study, provides a compelling rationale for implementing AI technology-based speaking activities in ESL settings. Thus, ESL educators and professionals should have technology literacy to make the greatest use of modern technology, as well as the expertise to integrate AR-based AI chatbots into language teaching and learning.