Effect of AI-based Application on Enhancing the L2 Listening Comprehension of Chinese EFL Students

Abstract

With regard to mastering English as a second or foreign language, teaching and learning listening are crucial. Therefore, many English teachers and researchers have attempted to explore effective ways of teaching and learning English listening. Mobile-based learning, which is a crucial teaching method and technology, is an advantageous eLearning method that exhibits features such as portability, accessibility and a use-friendly interface. Students can learn through wireless electric devices (e.g., mobile phones, tablets, and laptops), which are closely associated with self-directed learning. In recent years, artificial intelligence (AI), which is a generative technology, has received much attention in the education field. Due to the combination of mobile-based and AI-based learning, researchers anticipate the development of more creative and effective methods of enhancing English teaching and learning; thus, learners can be afforded more opportunities to practice listening on their own. Several studies proved that mobile-based and AI-based language learning are beneficial to learners. However, with regard to investigating whether AI-based learning is superior to non-AI-based learning among different levels of learners when using mobile devices to learn English listening, there is an apparent lack of studies; different levels of learners may exhibit different learning outcomes when they learn through the same approach. Meanwhile, the same level of learners may also exhibit different learning outcomes when using different learning approaches. In view of the fact that there is scant research on the aforementioned contents, the present study aims at investigating the effect of AI-based application on enhancing the L2 listening comprehension of Chinese EFL students, as well as the affective factors pertaining to different group of participants. Forty-four Chinese adult learners were recruited. The whole study was conducted online due to participants’ different locations and the learning approach feature, namely using applications on mobile phones. According to the participants’ level of English proficiency, they were divided into two groups, one control group (i.e., non-AI) and one experimental group (i.e., AI). Within each group, participants were grouped into a higher-level and a lower-level group. Participants in the experimental group learned English listening though an AI-based application known as Open Language, whereas participants in the control group learned English listening through a non-AI-based application known as BBC Learning English. Two groups had a total of twelve online classes within six weeks. To measure the differences between the listening comprehensions of participants, this study conducted listening comprehension pre- and post-tests which included listening for main idea, details, and inferencing abilities. Moreover, to clarify participants’ attitude changes, pre-and post-questionnaires were conducted. The findings of the present study indicate that the learners pertaining to the two groups, which represented the two approaches, exhibited satisfactory comprehension; moreover, the learners pertaining to the AI groups made slightly more progress than those in non-AI group. However, if different proficiency levels are considered, the results were different. With regard to the lower-level participants pertaining to the AI group, AI-based learning immensely enhanced their listening comprehension; however, this effect was not significant for higher-level participants. Moreover, the participants’ pre- and post-questionnaires were compared, and it was observed that their attitudes exhibited some differences. The AI group participants were greatly satisfied with the level-matching and interest-matching functions, and their learning interest was significantly increased. Therefore, this study filled the research gap by providing the supportive evidence for the effect of AI-based application on enhancing learners’ listening comprehension, as well as its effect on their attitude. Teachers or educators, who are willing to utilize the AI-based application should consider learners’ proficiency level. The AI-based application can be utilized by both teachers and students. The limitations of this study include the following: (1) a small population was considered, (2) no delayed posted-test was conducted, (3) the duration of the study was short, (4) not a level-differentiated homogeneity test was conducted, and (5) with regard to the application, due to the other AI functions (except interest and level matching, which were controlled), some bias may be prevalent. Therefore, to obtain more robust conclusions, a study with a large population should be conducted. ;제2언어 또는 외국어로서의 영어 습득에 있어서 듣기 교육과 학습은 중요한 역할을 한다. 따라서 많은 영어 교사와 연구자들이 효과적인 영어 듣기 교육 방법과 학습 방법을 탐구하고 있다. 이동 기반 학습은 휴대성, 접근성 및 사용자 친화적 인터페이스와 같은 특징을 갖춘 eLearning 방법 중 하나로, 학습 방법과 기술의 중요성을 갖추고 있다. 학습자들은 휴대 전자기기(예: 휴대폰, 태블릿, 노트북 등)를 통해 무선으로 학습할 수 있으며, 이는 자기 주도적 학습과 밀접한 관련이 있다. 최근 몇 년 동안 교육 분야에서는 생성적 기술인 인공지능(AI)이 많은 관심이 집중되고 있다. 이동 기반 학습과 AI 기반 학습의 결합으로써 영어 교육과 학습을 더 창의적이고 효과적인 방법으로 개선할 수 있는 가능성이 제기되며, 이를 통해 학습자들은 스스로 듣기 연습할 수 있는 기회를 더 많이 얻을 수 있을 것으로 예상된다. 여러 연구들은 이동 기반 및 AI 기반 언어 학습이 학습자들에게 이점을 제공한다는 사실을 입증하였다. 그러나 모바일 장치를 사용하여 영어 듣기를 학습하는 과정에서 AI 기반 학습이 비 AI 기반 학습보다 어떤 수준의 학습자에게 더 우수한지에 대한 연구는 아직 부족한 상태이다. 서로 다른 수준의 학습자들은 동일한 학습 접근 방식을 사용할 때 서로 다른 학습결과를 보일 수 있으며, 동일한 수준의 학습자들도 다른 학습 접근 방식을 사용할 때 서로 다른 학습결과를 보일 수 있다. 이러한 내용에 대한 연구는 부족한 상태이다. 따라서 본 연구는 중국 EFL 학습자들의 듣기 이해력 향상에 대한 AI 기반 어플리케이션의 효과 및 참가자 집단에 관련된 정의적 요인(affective factors)을 조사하기 위해 수행되었다. 본 연구에서는 중국 성인 학습자 44명을 모집하였다. 참가자들의 지리적 분포와 모바일 기기 어플리케이션을 활용하는 학습 접근 방식을 고려하여 전체 연구는 온라인으로 진행되었다. 참가자들의 영어 능력 수준에 따라 통제 집단과 실험 집단으로 구분하였으며, 각 집단 내에서는 상위 수준 집단과 하위 수준 집단으로 세분화하였다. 실험 집단은 AI 기반 어플리케이션인 Open Language을 활용하여 듣기 학습을 하였고, 통제 집단은 비-AI 기반 어플리케이션인 BBC Learning English을 활용하였다. AI 기반 어플리케이션은 학습자의 수준과 학습 관심도에 맞는 듣기 자료와 활동을 제공한 반면, 비 AI 기반 어플리케이션은 이러한 기능을 갖고 있지 않았다. 또한 BBC Learning English와 관련된 학습 자료의 수준은 B2에서 C2까지 다양하게 분포되어 있지만, 학습자들은 원하는 수준을 선택할 수 없었다. 두 집단은 총 6주 동안 12개의 온라인 수업을 진행하였다. 본 연구에서는 참가자들의 듣기 이해력 차이를 측정하기 위해 주요 내용, 세부 사항 및 추론 능력을 포함한 듣기 이해력 사전 및 사후 시험을 실시했다. 또한, 참가자들의 태도 변화를 명확히 하기 위해 사전 및 사후 설문조사를 실시하였다. 본 연구의 결과는 두가지 접근 방식을 대표하는 두 집단의 학습자들 모두 듣기 이해력이 향상된 결과를 보였으며, AI 집단의 학습자들이 비 AI 집단 보다 약간 더 많은 향상을 보였다. 그러나 서로 다른 수준의 참가자들을 고려하였을 때 결과가 달라진다. AI 집단의 하위 수준 참가자들은 AI 기반 학습이 듣기 이해력을 크게 향상시켰지만, 상위 수준 참가자들에게는 이러한 효과가 뚜렷하지 않았다. 또한, 참가자들의 사전 및 사후 설문조사를 비교한 결과, 그들의 태도에는 차이가 있었다. AI 집단의 참가자들은 본인의 듣기 수준과 흥미에 맞는 학습을 할 수 있다는 것에 만족했고 학습 흥미도가 크게 증가했다. 따라서, 본 연구는 AI 기반 어플리케이션의 활용이 학습자들의 듣기 이해력 향상에 긍정적인 영향을 미침과 동시에 학습자들의 태도에도 영향을 준다는 증거를 제공하여 연구의 공백을 해소하였다. AI 기반 어플리케이션을 활용하고자 하는 교사나 교육자는 학습자의 능력 수준을 고려해야 한다. 또한, 이러한 AI 기반 어플리케이션은 교사와 학생 모두에게 혜택을 제공할 수 있다. 본 연구의 한계점은 다음과 같다: 본 연구는 (1) 참가자 수가 적었다, (2) 지연된 사후 시험이 실시되지 않았다, (3) 연구기간이 짧았다, (4) 수준별 동질성 테스트를 실시하지 않았다, (5) 어플리케이션의 다른 AI 기능들(수준 및 흥미 맞춤을 제외한)로 인해 편향이 존재할 수 있다는 점이다. 따라서, 보다 견고한 결론을 얻기 위해서는 대규모 연구가 수행되어야 한다.