Effects of Virtual Reality and AI-based English Learning on EFL Learners' Speaking Ability, Learning Immersion, and Affective Aspects

Abstract

In this era of technological advancements and global interconnectedness, education is undergoing a significant transformation that revolutionizes our acquisition of knowledge, teaching, and communication. One aspect of this evolution is the adoption of Virtual Reality (VR) in English learning, which utilizes Artificial Intelligence (AI) to create highly effective language acquisition experiences. VR offers solutions to the challenges posed in other language-learning methods by transporting learners to diverse linguistic environments and simulating real-world language interactions. Through AI-powered systems, VR enables content adaptation based on individual proficiency levels, thereby optimizing the learning process while fostering self-directed language acquisition. This study highlights the significance of adopting creative methods to address the changing requirements in the educational contexts. The use of VR-based learning platform may potentially result in a transformative change that not only improves language skills but also fosters a deeper appreciation of different cultures, and AI can customize and enhance individual language-learning journeys. Thus, this research purported to examine impacts of VR-based English learning and AI application on Korean university students' speaking ability, learning immersion, and affective aspects. This study delved into the impacts of VR-based English learning and AI application on the Korean English learners, with a broad perspective into the impacts of VR technology on English language learning. In so doing, it examined the two different modes in VR-based English learning, that is, AI applied VR-based English learning and non-AI applied VR-based English learning. There are four research questions: 1) What are the effects of two different modes of non-native speaker (NNS) to NNS dyads and NNS-to-AI dyads in the VR simulated learning environments on English as a Foreign Language (EFL) learners' speaking ability? 2) What are the effects of two different modes of NNS-to-NNS dyads and NNS-to-AI dyads in the VR simulated learning environments on EFL learners' oral interaction? 3) What are the effects of two different learning modes of NNS-to-NNS dyads and NNS-to-AI dyads in the VR simulated learning environments on EFL learners' learning immersion? 4) What are the effects of two different learning modes of NNS-to-NNS dyads and NNS-to-AI dyads in the VR simulated learning environments on EFL learners' affective factors? The 30 subjects in the presents research were all non-native EFL speakers from a college in South Korea. Experiments were conducted with 10 rounds of classes for 4 months from November 2021 till February 2022. The participants took part in English-speaking activities with the same instructor or peer for 15–20 minutes, once or twice every week. Subjects were divided into two experimental groups and one control group: the “NNS-to-NNS interaction in VR” group (n = 12), the “NNS-to-AI chatbot interaction in VR” group (n = 10), and a control group (n = 8). During the experiment period, subjects in the NNS-to-NNS interaction in VR group were randomly divided pairs and had interactions on selected topics with each other using a virtual English-speaking program. By contrast those in the NNS-to-AI chatbot interaction in VR group used voice chat to converse with the AI-driven chatbot on selected topics. The results indicated that the experimental group engaged in English-speaking activities with other NNS in virtual space, demonstrated the most substantial improvement in English speaking proficiency. This underscores the impacts of AI- integrated VR programs in improving EFL learners’ English-speaking abilities. These findings align with prior studies— such as Swain (1985) which underscored the impacts of learning in virtual space—and the output hypothesis, which suggests that second languages (L2) are acquired through repetitive practice and speaking (Swain, 1995). Also the findings confirm Bygate’s (1987) argument that learners must physically engage their vocal organs to enhance their speaking skills and monitor these activities, making VR-based language learning programs with AI technology highly effective in improving speaking skills. The study also reflected on the various strategies of meaning negotiation during speaking activities within the VR groups. Although clarification requests and reformulation strategies were commonly employed when communication breakdowns occurred, communication challenges were more pronounced in the randomly paired groups. High-proficiency learners had difficulty interacting with low-proficiency learners, and even in matched proficiency groups, communication breakdowns were not always smoothly resolved. This study noted increased immersion among EFL learners in experimental groups in the VR-based speaking program, which was attributed to the motivational aspects of VR technology. VR devices allowed individualized learning experiences without external disruptions, enhancing immersion, and promoting user-centered engagement. These findings align with previous studies, revealing that a sense of presence and immersion in VR positively affects learning motivation, attention, and self-confidence. The findings of this research have meaningful implications for English-speaking classes, especially for those incorporating VR and AI-based learning programs. To overcome the limitations of English learning environments, such programs should be introduced in classrooms in Korea to enhance the English learners’ speaking abilities. Providing an environment that facilitates ample speaking opportunities through VR-based English-speaking programs with AI technology is crucial to effectively improve English-speaking abilities. Pairing learners according to their English proficiency level during speaking activities in VR is essential for successful negotiation of meaning (NoM). Additionally, VR devices significantly lowered one’s anxiety and boosted interest, motivation and self-confidence, making them more active and engaged in VR-based English-speaking classes. Finally, to ensure smooth execution of the speaking program through VR devices and to maximize the educational impact, both instructors and learners should meet specific technical-knowledge requirements for VR device usage. ;컴퓨터 기술의 혁신적 진보와 글로벌 네트워크로 특징 되어지는 현시대에 교육 분야는 지식을 습득하고 가르치고 소통하는 방식을 근본적으로 바꿔 놓는 중대한 변혁을 겪고 있다. 이러한 변혁의 한 예로 영어 학습을 위한 가상현실(Virtual Reality)의 도입이 있다. 이는 인공지능(Artificial Intelligence)을 활용하여 효과적인 언어 습득 경험을 창출하는 것이다. VR은 학습자를 다양한 언어 환경으로 이동시키고, 해당 언어 환경 속에서 시뮬레이션을 통해서 실생활 언어 상호작용이 가능하게 만듬으로써 외국어 학습을 위한 해결책을 제시하고 있다. 특히 AI가 장착된 VR은 개인별 언어구사능력 정도에 따라 컨텐츠 수정할 수 있어 학습 과정을 최적화하는 한편 자기 주도적 언어 습득을 촉진한다. 본 연구에서는 영어 교육의 변화하는 요구사항을 충족시킬 수 있는 창의적인 학습 방법을 채택하는 것이 중요함을 강조한다. 연구 결과 VR이 언어 학습에 미치는 영향과 AI를 장착한 VR의 영향을 조사하면서 놀라운 변화를 발견했다. AI를 활용하면 개인의 학습 진도에 적합한 언어 학습을 디자인할 수 있어 언어 학습의 질을 높임으로써 언어 기술의 향상 뿐 만 아니라 다른 문화에 대한 깊은 공감을 불러온다는 것이다. 이 조합은 상호 연결된 사회에서 학습자가 성공을 이루도록 자극한다는 사실을 발견하게 되었다. 본 연구의 참여자들은 한국의 한 대학의 학습자들로서 30명의 대학생들이 참여했다. 본 연구를 위해 2021년 11월부터 2022년 2월까지 10차례 수업에서 실험이 이루어졌으며, 연구 참가자들은 매주 한 두 번 15 ~ 20분 동안 동일한 강사 또는 동료들과 함께 말하기 활동에 참여하였다. 연구 결과, AI기술을 접목한 VR 환경 속에서 영어 말하기 활동에 참여한 B실험 그룹(학습자와 AI 집단)의 영어 말하기 능력이 가장 많이 향상된 것으로 나타났다. 이는 AI 기술이 통합된 VR 프로그램이 학생들의 영어 말하기 능력 향상에 효과가 있음을 보여주는 것이다. 이러한 연구결과는 말하기를 통한 반복적인 연습으로 제2언어 습득이 일어난다고 하는 산출가설(Swain, 1995)을 포함하여 VR 기반 언어 학습의 효과를 입증한 선행연구들과 일치한다. 이 연구에서는 또한 말하기 활동에 VR을 사용한 그룹 안에서, 의미 협상에 대한 다양한 접근 방식이 사용되는 것을 관찰했다. 의사소통에 문제가 발생했을 때 공통적으로 명확한 설명 요청(clarification requests)과 재구성 전략(reformulation strategies)이 채택되었지만, 무작위로 짝이 배정된 그룹에서는 의사소통 문제가 더 두드러졌다. 언어구사능력이 높은 학습자들은 구사능력이 낮은 학습자와의 상호작용에 어려움을 겪었으며, 심지어 구사능력에 따라 분류한 그룹에서도 의사소통 문제가 항상 원활하게 해결되지는 않았다. 이러한 결과는, Gass(1985)의 연구와 현저한 대조를 이루었는데, 언어 구사 능력에 현저한 차이가 있을 때 의사소통 문제가 더 빈번하며 의미 협상이 증가하게 된다는 것을 보여주었다. 이 연구에서는 또한 가상현실에서 상호작용한 두 실험 그룹 모두에서 학습자들의 몰입도가 상승했음에 주목했으며, 이는 VR 기술의 동기 부여 측면 때문인 것으로 파악했다. VR 기기는 외부의 방해 없이 개별화된 학습 경험을 가능하게 하여 몰입도를 높이고 사용자 중심의 참여를 독려한다. 이러한 결과는 VR상에서의 실재감과 몰입감이 학습 동기, 집중력 및 자신감에 긍정적 인 영향을 미친다는 선행연구와 일치한다. VR 기반 학습 프로그램이 학습자의 정서적 영역에 미치는 영향을 이해하기 위해 연구자는 설문지와 인터뷰를 사용하였다. AI 와 함께VR기반 영어 말하기 활동에 참여한 B실험 그룹의 EFL 학습자들은 VR 세계에서 동료들과 상호 작용한 A실험 그룹에 비해 흥미, 동기 부여 및 자신감 증가를 포함하여 모든 정서적 영역에서 유의미하게 긍정적인 반응을 보였다. 이러한 변화는 익명성과 VR 환경 내의 상호작용의 용이성이 학습자의 불안을 줄이고 적극적인 수업 참여를 유도했기 때문으로 간주된다. 이 논문의 결과는 영어 말하기 수업에 VR 기반 언어 학습 프로그램을 통합하는 것이 교육적으로 중대한 의미를 지닌다는 것을 보여준다. 영어 학습 환경의 한계를 극복하고 영어 학습자의 말하기 능력을 향상시키기 위하여 이런 프로그램을 한국의 수업에 도입해야 한다는 시사점을 제공하고 있다. AI 기술을 포함하여, VR 기반 영어 말하기 프로그램을 통해 말하기 기회가 충분한 환경을 제공하는 것은 영어 말하기 능력을 효과적으로 향상시키는 데 매우 중요하다. 따라서VR상의 말하기 활동에서 영어구사능력에 따라 학습자를 매칭하는 것은 의미 협상의 성공을 위해 필수적이다. 또한 VR 기기는 학습자의 불안을 크게 낮출 수 있고, 흥미와 자신감을 높여 VR 기반 영어 말하기 수업에 더 적극적으로 참여하게 한다. 마지막으로, 본 연구를 통해 VR 기기를 통한 말하기 프로그램의 원활한 실행과 교육 효과의 극대화를 위해서 강사와 학습자 모두 VR 기기 사용에 대한 특정 기술 요구 사항을 충족해야 함을 발견했다.