AI 기반 적응형 학습 시스템의 효과에 대한 메타분석

Abstract

인공지능 기반 적응형 학습 시스템(AI-based Adaptive Learning System)이란 학습자의 다양한 데이터를 기반으로 학습분석학적 관점에서 개별학습을 지원하는 시스템을 의미한다(신종호 외, 2021; 황은경, 신종호, 2021). 다시 말해, 학습과정에서 발생하는 데이터를 분석하고, 학습 특성, 학습자 특성, 교수학습 맥락 등을 고려하여 개별 학습자에게 적합한 시기에 필요한 자료 혹은 피드백 등을 적응적으로 지원하는 시스템을 말한다. 적응형 학습에 대한 논의는 50여 년 동안 이뤄져왔으며, 인공지능(Artificial Intelligent; 이하 AI)의 발전과 함께 적응형 학습 시스템에 관한 연구가 꾸준히 이뤄졌다. 최근 코로나19로 개별화 학습에 대한 필요성이 다시금 대두되고, AI 기술이 계속해서 발전함에 따라 AI 기반 적응형 학습 시스템을 활용한 개별화 학습 지원에 관한 관심이 커지고 있다(권숙진, 권선아, 2018; 김동환, 2023). AI 기반 적응형 학습 시스템의 효과를 제대로 파악하는 것은, 현재 교육 현장에서 적용되고 있는 AI 기반 적응형 학습 시스템의 활용 전략이나 설계 방안에 대해 진단하고, 그 개선 방안 등을 제언하기 위해 매우 중요한 일이다. 그러나 AI 기반 적응형 학습 시스템의 효과에 관한 연구가 다양한 연구자들에 의해 여러 가지 방법으로 수행되어 왔기 때문에 서로 일관되지 못하고, 적응형 학습의 효과만을 중점적으로 종합한 연구가 부족하다는 점에서 교육 현장에서 학습자의 학습성과 향상을 위한 AI 기반 적응형 학습 시스템의 효과를 체계적으로 파악하기가 어려운 상황이다. 따라서, 관련 선행연구의 결과를 체계적으로 종합하여 그 효과크기를 산출하는 통계 방법인 메타분석(meta-analysis)을 활용하여(양현경, 2021), AI 기반 적응형 학습 시스템의 효과를 종합적으로 분석할 필요가 있다. 이러한 시점에서 본 연구에서는 메타분석을 활용하여 AI 기반 적응형 학습 시스템의 효과를 체계적으로 분석하고, 효과크기에 영향을 미치는 조절변인들을 탐색하여 학습성과 향상을 위한 효과적인 적용 방안, 설계 방향 등에 대한 시사점을 제공하고자 하였다. 주요 연구 문제는 아래와 같다. [연구문제 1] AI 기반 적응형 학습 시스템의 효과크기는 어떠한가? [연구문제 2] 조절변인(발행 연도, 학교급, 교과, 활용 맥락, 연구 기간, 핵심 기능, 활용 데이터, 활용 모델, 학습성과 영역)에 따른 AI 기반 적응형 학습 시스템의 효과크기는 어떠한가? 분석 대상은 2013년부터 2023년 2월까지 보고된 국외 학술지 논문 총 156,136편이었다. 1차 자료는 Web of Science, EBSCOhost에서 수집하였으며, PICOS 선정 기준(Wood & Mayo-Wilson, 2012)에 따라 최종적으로 메타분석에 포함될 분석 대상을 선정하여 코딩하고, 출판 편파(publication bias) 검증을 실행하였다. 본 연구에서는 최종적으로 총 22편의 연구물에 26편의 개별 효과크기를 메타분석에 사용하였으며, 분석 프로그램으로 CMA(Comprehensive Meta-Analysis) 4.0을 사용하여, 출판 편파 분석, 효과 크기 검증, 동질성 및 이질성 검증, 조절변인의 조절효과검증 등을 실시하였다. 주요 연구 결과를 정리하면 다음과 같다. 첫째, AI 기반 적응형 학습 시스템의 전체 효과크기는 .790으로 큰 수준으로 나타났으며, 통계적으로 유의한 것으로 나타났다. 이를 통해 전통적 수업에 비해 AI 기반 적응형 학습 시스템의 교육적 효과가 높다는 것을 확인하였다. 또한, 동질성 검증 결과에서 Q값이 247.745로 통계적으로 유의하여(p<.001), 최종 분석 대상의 효과크기가 동일한 모집단에 근거하지 않는 것으로 나타났다. 구체적으로, 연구 간의 이질성이 91.524%로 연구간 이질성이 큰 수준으로 나타났다. 이에 따라 연구 간의 차이를 확인하고자 조절변인에 따른 효과크기를 살펴보았다. 둘째, 발행 연도에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 있는 것으로 나타났으며(p<.01), 2017년~2019년(1.765), 2020년~2023년 2월(.823), 2013년~2016년(.530) 순으로 효과크기가 크게 나타났다. 이를 통해 일부 연구물을 제외하고, 분석 대상의 효과크기가 해를 거듭할수록 높게 나타났다는 점을 확인할 수 있다. 셋째, 학교급에 따라 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 있는 것으로 나타났다(p<0.001). 학교급에 따른 AI 기반 적응형 학습 시스템의 효과크기를 산출한 결과, 대학교(.885), 중·고등학교(.633), 초등학교(.280) 순으로 효과크기가 큰 것으로 나타났다. 따라서, AI 기반 적응형 학습 시스템의 효과가 학교급이 올라갈수록 높아진다는 점에서 저학년의 활용 효과를 향상하기 위한 추가적인 지원이 필요함을 시사한다. 예컨대, 학습 동기, 자기조절학습, 자기주도학습 역량 등을 증진시킬 수 있는 지원이 요구된다. 넷째, 교과에 따라 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 없는 것으로 나타났다(p=0.242). 교과에 따른 AI 기반 적응형 학습 시스템의 효과크기를 산출한 결과, 언어(1.344), 사회·과학(.842), 컴퓨터공학(.828), 수학(.376) 순으로 효과크기가 크게 나타났다. 이를 통해, AI 기반 적응형 학습 시스템이 모든교과에 효과가 있음을 확인할 수 있다. 다섯째, 활용 맥락에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 없는 것으로 나타났다(p=0.269). 구체적으로, AI 교사(1.011), 실험실 조건(.717), AI 보조 교사(.312) 순으로 효과크기가 높게 나타났다. 이는 AI 기반 적응형 학습 시스템의 효과적인 활용을 위해 활용 맥락 보다는 교수학습 목적에 따른 활용 방안에 대한 고려가 필요하다는 점을 시사한다. 여섯째, 연구 기간에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 있는 것으로 나타났다(p<0.01). 연구 기간에 따른 효과크기를 산출한 결과, 일주일 이상 3개월 미만(.635), 3개월 이상 6개월 미만(.602), 일주일 미만(.438) 순으로 크게 나타났으며, 연구 기간을 언급하지 않은 연구물의 효과크기가 1.361로 나타났다. 이를 통해 AI 기반 적응형 학습 시스템은 일정 기간 이상 활용했을 때 효과가 더 크게 나타나며, 오랜 기간 활용하는 것보다 학습 목적에 따라 필요한 기간만큼 활용했을 때 학습 효과 향상에 도움이 된다는 것을 확인하였다. 일곱째, 핵심 기능에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 없는 것으로 나타났다(p=0.331). 구체적으로, 핵심 기능에 따른 AI 기반 적응형 학습 시스템의 효과크기를 산출한 결과, 개별 처방형(1.290), 에이전트(.891), 개별 처방형과 에이전트(.566) 순으로 효과크기가 크게 나타났다. 이는 모든 핵심 기능의 AI 기반 적응형 학습 시스템이 학습성과 향상에 긍정적 영향을 미친다는 점을 시사한다. 여덟째, 활용 데이터에 따른 AI 기반 적응형 학습 시스템의 효과크기에는 유의한 차이가 없는 것으로 나타났다(p=0.331). 구체적으로, 학습자 지식수준과 학습자 특성(1.650), 학습자의 지식수준(.653) 순으로 효과크기가 크게 나타났으나, 통계적으로 유의한 차이는 없었다. 따라서, 모든 활용 데이터가 학습성과 향상에 긍정적인 영향을 미친다는 점을 알 수 있다. 더불어 활용 데이터에 따른 차이가 나타나지 않는다는 점에서 AI 기반 적응형 학습 시스템의 설계 단계에서부터 교수학습 목적에 맞는 활용 데이터를 선정하는 것을 통해 적합한 데이터 모델을 구축하는 것에 대한 필요성을 시사한다. 아홉째, 활용 모델에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 없는 것으로 나타났다(p=0.165). 활용 모델에 따라 효과크기를 살펴본 결과, ITS(.629), Aassistant(.396) 순으로 효과크기가 크게 나타났다. 또한, 구체적인 활용 모델을 언급하지 않은 연구물(기타)의 효과크기는 1.080으로 나타났다. 이를 통해 모든 활용 모델의 AI 기반 적응형 학습 시스템이 학습성과 향상에 효과가 있다는 점을 보여준다. 마지막으로, 학습성과 영역에 따른 AI 기반 적응형 학습 시스템의 효과크기에 유의한 차이가 있는 것으로 나타났다(p<0.1). 구체적으로, 학습성과 영역에 따른 AI 기반 적응형 학습 시스템의 효과크기를 산출한 결과, 인지적 영역(.800), 정의적 영역(.265) 순으로 효과크기가 큰 것으로 나타났다. 따라서, AI 기반 적응형 학습 시스템은 인지적 영역의 학습성과 향상을 위해 적극적인 활용이 요구된다. 다만, 정의적 영역은 다른 영역에 비해 즉각적인 변화가 나타나지 않는다는 점에서 학습성과 영역에 따른 효과크기 해석에 유념해야 한다. 본 연구에서는 메타분석을 활용하여 AI 기반 적응형 학습 시스템의 효과에 대해 체계적으로 분석하고, 효과크기에 대한 조절변인들을 탐색함으로써 AI 기반 적응형 학습 시스템의 유용성을 경험적으로 확인하고, 교육 현장에 효과적으로 적용하기 위한 적용 방안에 관한 시사점을 제공하였다는 데 의의가 있다. 다만, 본 연구는 다소 적은 수의 표본을 대상으로 메타분석을 수행했다는 점에서 연구결과를 일반화하는 데 한계가 있다. 따라서, 후속 연구에서는 다각적이고 종합적인 분석을 위해 충분한 수의 연구물을 바탕으로 AI 기반 적응형 학습 시스템의 교육적 효과에 영향을 미칠 수 있는 다양한 기능적 변인을 조절변인으로 상정하여 학습 효과를 분석하는 연구가 수행될 필요가 있다. 또한, 후속 연구에서는 본 연구에서 선정한 조절변인에 대한 양적 메타분석과 질적 메타분석을 병행하는 혼합적인 접근을 통해 학교급, 교과별 등에 따른 AI 기반 적응형 학습 시스템의 적용 방안을 마련하는 데 구체적인 시사점을 제공할 필요가 있다. ;AI-based Adaptive Learning System(AI-ALS) is a system that supports individual learning from a learning analysis perspective based on learners' various data(Shin et al., 2021; Hwang & Shin, 2021). In other words, it is a system that analyzes the data generated in the learning process and adaptively supports the instructional resource or feedback they need immediately for each learner, considering learners' background, learning characteristics, and instructional context. Studies about Adaptive Learning have been going on for over 50 years, and research on Adaptive Learning Systems has steadily been conducted along with the development of Artificial Intelligence(AI). As AI technology advances, the interest in supporting individualized learning using AI-ALS is growing(Kwon, Kwon, 2018; Kim, 2023). At this point, it is essential to understand the efficient strategy or effective design method of AI-ALS, which is currently being applied in the educational field, and to propose improvement plans. However, the results of studies on the effects of AI-ALS diversely conducted by various researchers are inconsistent with each other, and there need to be more studies focusing on the effects of Adaptive Learning. Thus, it is difficult to systematically identify the effects of AI-ALS to improve learners' learning outcomes. Therefore, to comprehensively organize the results of previous studies on the effect of AI-ALS, meta-analysis, a statistical technique that calculates the effect size by integrating the results of various studies accumulated on a specific topic, is necessary. This study aims to collect and organize previous studies on the effects of AI-ALS by analyzing the effects of AI-ALS systematically and exploring moderators on the effect size of AI-ALS using meta-analysis to implicate the efficient strategies to utilize the AI-ALS with a practical design. [Research Question 1] How significant is the effect size of an AI-based Adaptive Learning System? [Research Question 2] How different is the effect size of an AI-based Adaptive Learning System according to moderators(publication year, school level, subject, instructional context, research period, core function, utilized data, utilized model, achievement domain)? The subjects of analysis were 156,136 articles in foreign journals reported from 2013 to February 2023. Primary analysis data were collected from Web of Science and EBSCOhost, and the final analysis target was selected according to the PICOS selection criteria (Wood & Mayo-Wilson, 2012). Moreover, publication bias analysis was implicated. Finally, individual effect sizes of 26 studies in a total of 22 were used for meta-analysis. This study used the Comprehensive Meta-Analysis 4.0 program to conduct publication bias analysis, effect size verification, homogeneity and heterogeneity verification, and moderating effect verification of moderators. The main research results are as follows. First, the overall effect size of the AI-ALS was .790, which was large and statistically significant. Through this, it was confirmed that the educational effect of AI-ALS is higher than traditional classes. In addition, as a result of the homogeneity test, the Q-value was 247.745, which was statistically significant(p<.001), indicating that the effect sizes of the final analysis were not based on the same population. Specifically, the variance ratio between studies to the total observed variance was 91.524%, indicating high heterogeneity. Therefore, the moderating variables were analyzed in this study to confirm the difference between studies. Second, there was a significant difference in the effect size of the AI-ALS according to the publication year(p<.01). Specifically, the effect size was significant in order of 2017 to 2019(1.765), 2020 to February 2023(.823), and 2013 to 2016 (.530). Thus, it can be confirmed that, except for some studies, the effect size of the analysis target increased over the years. Third, there was a significant difference in the effect size of the AI-ALS according to the school level(p<0.001). Specifically, as a result of calculating the effect size of the AI-ALS according to the school level, the effect size was found to be prominent in the order of university(.885), middle and high school(.633), and elementary school(.280). Therefore, it is suggested to support additional intervention for the lower grades student that the effect size of the AI-ALS increased by the school level. For example, it is required to support learning motivation, self-regulated learning, and self-directed learning competency. Fourth, there was no significant difference in the effect size of the AI-ALS according to the subject(p=0.242). As a result of calculating the effect size of the AI-ALS according to the subject, language(1.344), social science(.842), computer engineering(.828), and mathematics(.376) showed the most significant effect size in order. Thus, it contains that AI-ALS is effective in all subjects. Fifth, there was no significant difference in the effect size of the AI-ALS according to the application context(p=0.269). Specifically, the effect size was significant in order of AI teacher(1.011), laboratory condition(.717), and AI assistant teacher(.312). It suggests that for the effective use of AI-ALS, which is necessary to consider the utilization method for teaching and learning rather than the educational context for utilization. Sixth, there was a significant difference in the effect size of the AI-ALS according to the study period(p<0.01). As a result of calculating the effect size according to the study period, the largest appeared in the order of more than a week and less than three months(.635), more than three months and less than six months(.602), and less than a week(.438). The study period not mentioned was 1.361. Thus, it was confirmed that AI-ALS has a more significant effect when used for a certain period and that it helps improve the learning effect that it used for the required period according to the learning purpose rather than using it for an extended period. Seventh, there was no significant difference in the effect size of the AI-ALS according to the core function(p=0.331). Specifically, as a result of calculating the effect size of the AI-ALS according to the core function, the effect size was significant in the order of individual prescription type(1.290), agent(.891), and individual prescription type and agent(.566). It suggests that AI-ALS of all core functions positively impact learning performance. Eighth, there was no significant difference in the effect size of the AI-ALS according to the utilization data(p=0.331). Specifically, the effect sizes appeared in the order of learner knowledge level and learner characteristics(1.650), learner knowledge level(.653), but there was no statistically significant difference. Therefore, it shows that all utilization data positively affect learning performance improvement. In addition, the point that there is no difference according to the utilization data suggests that we need to build a suitable data model by selecting the utilization data for teaching and learning from the design stage of the AI-ALS. Ninth, there was no significant difference in the effect size of the AI-ALS according to the utilization model(p=0.165). As a result of examining the effect size according to the user model, it was significant in the order of ITS(.629) and Assistant(.396). In addition, the other studies that did not mention a specific utilization model was 1.080. It shows that all utilization models in AI-ALS effectively improve learning outcomes. Finally, it was found that there was a significant difference in the effect size of the AI-ALS according to the learning performance area(p<0.1). Specifically, the effect size was significant in the order of a cognitive area(.800) and an affective area(.265). Therefore, AI-ALS must be actively utilized to improve learning performance in the cognitive domain. However, since the affective domain's effect size does not immediately change compared with other domains, it interprets carefully. In this study, we systematically analyze the effect of the AI-ALS using meta-analysis and empirically confirm the usefulness of the AI-ALS by exploring moderators for the effect size to use it in the educational field effectively. These results were meaningful in providing implications of strategies and design methods for application. However, this study has limitations in generalizing the research results because the meta-analysis was conducted with a relatively small sample. Therefore, the follow-up study must be based on a sufficient number of studies for multilateral and comprehensive analysis for analyzing the learning effect by assuming various functional moderators that can affect the educational effect of the AI-ALS. Moreover, a follow-up study is needed to analyze through a mixed approach that combines quantitative meta-analysis and qualitative meta-analysis with the moderators selected in this study, which provides implications for application by school level and subject for an AI-ALS for future education.