학습자 변인 중요도 기반 외국어 학습용 AI 앱 추천시스템 설계

Abstract

With the development of the Internet and mobile devices, the field of education through applications (mobile applications, hereafter referred to as apps) is rapidly developing. As of 2021, educational apps account for the third largest share after gaming and commercial apps, and the number of learners using mobile apps has been rapidly expanding since 2018, exceeding 10 million. In this increasing trend of using educational apps, the most prominent subject area is foreign language learning. According to the study, the majority of college students in Korea are voluntarily studying English online in an informal learning context, and more than half of them learn with mobile apps. As such, as a tool for foreign language learning, it can be seen that the demand for apps is expanding ― both as a single content and a platform that provides a variety of content. The reason for this trend is supported by the papers dealing with the effectiveness of foreign language learning through mobile. Foreign language learning through mobile devices gives learners immediate, personal, informal, ubiquitous, and convenient learning experience. Furthermore, mobile learning may promote self-directed learning from the perspective of constructivist learning (Kim, 2016; Park & Ahn, 2021). Furthermore, the mobile platforms equipped with AI technology, which have been in the spotlight recently, strengthen self-directed learning by enabling personalization. This is because, with the AI technology, instructional goals and sources can be adjusted according to the learning speed and learning ability of individual learners. In addition, by converging the basic technology of chat-bots with natural language processing or voice recognition, communication practice for foreign language learning becomes accessible without human presence. Thanks to these advantages, the development of language learning apps using AI is also predicted to open a new horizon for foreign language learning. Although using a mobile app for foreign language learning has many advantages as mentioned, there are few learners who knew well and used the apps for actual learning to improve one's level and meet ones purpose due to the lack of promotion and the functional inconvenience of apps(Koh, 2014). In addition, recommendations by app stores have low reliability or low effectiveness. Therefore, this study tried to develop a foreign language learning app recommender system that meets the needs of learners, paying attention to the following singularities reported in previous studies. First, educational apps, especially foreign language learning apps, are expanding both quantitatively and qualitatively. Second, a guide on the use of foreign language learning apps is needed. Third, help is needed to help learners select appropriate learning materials in non-formal learning contexts. Fourth, recommendations for products and recommendations to help learning should be different. For this reason, it is necessary to identify learner-related variables used in previous studies for educational recommendations. In addition, since not all variables have the same importance in predicting the satisfaction of language learning apps, confirming the relative importance of learner-related variables is required. Finally, it is important to construct an algorithm by reflecting the relative importance of learner-related variables and check whether the algorithm can increase the satisfaction of learners. In this study, the following research questions were derived based on the needs above. 1. How is the importance of each learner variable in relation to the satisfaction level of the foreign language learning app? 2. How is the predictive performance of the foreign language learning app recommender system reflecting the importance of each learner variable? 3. How is the actual satisfaction of the foreign language learning apps by the recommender system that reflects the importance of learner variables? Online self-reporting questionnaires and descriptive statistical analysis were mainly used for the prior data collection tools related to learner variables and app use satisfaction, and a machine learning method with random forest regression algorithm was employed to determine the importance of learner variables. Precision, recall, and F1-score were measured for the predictive performance, and a questionnaire and post-interview were to understand the actual satisfaction of the recommender system that reflects the importance of learner variables. The subjects of this study were adult men and women between the ages of 19 and 39, and the research procedure consisted of the 3 steps: preparation → system construction → system evaluation. In the preparatory stage, for the pre-data collection, for a total of 100 learners, 14 sub-classified learner variables and 557 learner satisfaction data for 18 apps were obtained. In the system evaluation stage, 30 people participated in the study in an online non-face-to-face environment to measure post-satisfaction with the recommender system. The main research results are as follows. First, as a result of calculating the importance of each learner variable in relation to the satisfaction of foreign language learning app, the top 3 variables with the highest importance among 14 sub-categorized variables were integrated motivation (MI2=.1797), which is a sub-variable of learning motivation, > motive mean Score (MIT=.1670) > instrumental motivation (MI1=.1511), followed by the number of language learning related to the learning experience (LLPW=.0819), and the information processing variable of the learning style (LS1=.0657). The sum of importance of these top five variables (MI2, MIT, MI1, LLPW, LS1) was high at about 65% of the total. Overall, we found that language learning motivation, learning style (process), and usage frequency carry higher importance weights than general demographic information such as gender and job. Our research confirms the importance of considering learner-related variables in the affective domain such as motivation for learning to develop recommendation sys-tems better reflect learners’ needs. Second, the predictive value of the recommender system with the importance of each learner variable outperforms the recommender system which randomly recommended apps for users. That is, the values of precision, recall, and F1 score of the algorithm which reflects the importance of learner variables by the random forest regression method resulted in Precision .647, Recall .403, and FI Score .494. Meanwhile, the dummy model postulating the recommendation of all 18 apps for all 100 users showed Precision .564, Recall .388, and an F1-score .459. Therefore, it can be concluded that in order to improve the predictive power of the learning app recommender system in the future, it is necessary to configure the algorithm by reflecting the importance of individual learner variables. Third, the satisfaction of the recommender system for foreign language learning app reflecting the importance of each variable calculated with Precision .833, which showed high performance considering that it is a subjective satisfaction evaluation. Also, the satisfaction evaluation collected by questionnaire. confirmed that learners who used the recommender system were generally satisfied with the system by obtaining a score of 4 or more out of 5 for all questions, in all four area(accuracy, self-referencing, satisfaction, novelty area) In addition, through the in-depth interview, we could understand that this recommender system was effective in that 1) the recommendation according to the learner's purpose or interest in consideration of learner variables led to the high satisfaction of the learners; 2) the initial accessibility of the app of the recommender system increased. and 3) the use of the recommender system brought about a positive attitudinal change toward the language learning apps. The implications for increasing the effectiveness of the foreign language learning app recommender system can be discussed as follows. First, in order to better reflect the needs of learners in educational recommendations, including recommendations for foreign language learning apps, it is important to consider learner-related variables in emotional domains such as learning motivation as well as cognitive domains such as learning styles. Second, the prediction performance of the algorithm should be improved by reflecting the relative importance of learner-related variables in constructing the recommender system. Third, building a recommender system reflecting the weight of each learner variable can lead to high satisfaction with the actual recommender system. Fourth, the recommender system for foreign language learning apps increased the initial accessibility to the app as learning content, helped learners topositively recognize the language learning apps for learning content, and led to high learning satisfaction of learners. The limitations of this study and suggestions for follow-up studies are derived as follows. First, in terms of the range of data, it includes only 14 sub-classification variables and the static characteristics of learners. Therefore, it is necessary to expand the model by including various variables. Second, the filtering method used in this study has limitations. The designed recommender system did not reflect the attributes of the selected apps, and it employed a relatively long self-report questionnaire to collect learner variables. In future research, it is required to reflect the characteristics of the educational apps and use proxy indicators or automatic detectors to capture learning motivation and styles. Third, in terms of deriving variable importance, complex relationships between learner variables can be detected by employing various machine learning techniques such as Support Vector Machine, Gradient Boosting, and Deep-neural network model to increase the explanatory power of the future algorithm. Fourth, to complement the satisfaction of the recommendation system, other factors should be considered such as content, tags, the information on contributors, the importance of recommendation, reason for recommendation, and contributor information. Fifth, since the educational/learning materials used by learners in the actual non-formal learning environment are not limited to apps, we need to devise more inclusive way to recommend other learning resources such as video-based platforms, MOOCs, or websites.;인터넷과 모바일 기기의 발달로 애플리케이션(Application 또는 app, 이하 앱)을 통한 교육 분야는 빠르게 발전하고 있다. 2021년 기준 교육용 앱은 게임, 상업용 앱에 이어 세 번째로 많은 비중을 차지하고 있으며 모바일 앱을 이용한 학습자 수는 2018년 이후 천만 명을 넘어서며 급격히 확대되고 있다. 이러한 교육용 앱의 이용 증가 기조 속에서, 가장 두드러지는 주제 영역은 외국어 학습용 앱이다. 연구에 따르면 우리나라의 대다수 대학생들이 비형식 맥락에서 자발적인 온라인 영어공부를 하고 있으며 그중에서 모바일 앱을 기반으로 학습에 참여하고 있는 학생도 절반이 넘는 것으로 파악되고 있다. 이렇듯 외국어 학습의 도구로서 앱은 하나의 콘텐츠이면서 동시에 다양한 콘텐츠를 제공하는 플랫폼으로서 수요가 확대되고 있으며 공급도 활발히 이루어지고 있음을 확인할 수 있다. 이러한 경향은 모바일을 통한 외국어 학습의 효과성을 다룬 논문들에 의해 그 이유가 뒷받침되고 있다. 모바일을 통한 외국어학습은 즉각적, 개인적, 비형식적, 유비쿼터스적이며 이동이 편리한 특징이 있으며, 구성주의적 학습의 관점에서 자기 주도적 학습을 촉진할 수도 있다(김혜숙, 2016; 박매란, 안혜성, 2021). 이러한 모바일 학습의 장점에 더해, 최근 활발히 연구되고 있는 AI 기술을 장착한 모바일 학습 플랫폼은 학습자 개개인의 학습 속도와 학습 역량에 맞추어서 프로그램이 조정될 수 있어 집단학습에서 성취하기 어려운 “개인화”를 가능하게 함으로써 자기 주도적 학습을 강화한다. 챗봇의 기본기술에 자연어처리, 음성 인식 등의 기술들이 융합되면서 외국어 학습을 위한 의사소통 연습이 다른 인간의 존재 없이 가능해 진다는 것도 장점이다. 이러한 특징 때문에 AI를 이용한 언어 학습용 앱의 발전은 학습에 새 지평을 열 것으로 예측되기도 한다. 이렇듯 외국어 학습을 위하여 모바일 앱을 사용하는 것이 여러 가지 장점이 있음에도 불구하고, 앱에 대한 홍보 부족, 앱의 다양한 기능 부족 등을 이유로 외국어 학습용 앱의 기능이나 자신의 수준과 목적에 맞는 앱의 선택 방법을 잘 알고 실제 학습에 앱을 활용하는 학습자는 적은 것으로 나타났다. 또한 많은 학습자들은 어떠한 학습정보가 유의미한지 분별하기 어려워서, 학습 내용을 스스로 결정하는 데에 어려움을 겪는 것으로 보고된다(한지원, 임희석, 2017). 이에 본 연구에서는 다음과 같은 인식에 기반 하여 학습자의 요구에 맞는 외국어 학습용 AI 앱 추천시스템을 개발하고자 하였다. 첫째, 상품을 위한 추천과 학습을 돕는 추천은 달라야 한다. 둘째, 교육용 앱, 특히 AI 기술을 적용한 외국어 학습용 앱이 양적·질적으로 팽창하고 있다. 셋째, 외국어 학습용 AI 앱의 사용에 대한 가이드가 필요하다. 넷째, 비형식 학습 맥락에서 학습자가 적절한 학습 자료를 선택할 수 있도록 도움이 필요하다. 이러한 이유로 가장 먼저 선행연구를 바탕으로 교육용 추천에 주로 사용된 학습자 관련 변인들을 확인하는 것이 필요하다고 보았다. 또한 언어학습용 AI 앱의 만족도를 예측함에 있어서 모든 변인들이 동일한 중요도를 가지는 것이 아니므로 선정된 학습자 변인들의 상대적 중요도를 확인하는 것이 필요하다고 판단하였다. 마지막으로 설정된 변인들의 상대적인 중요도를 반영하여 알고리즘을 구성하고, 해당 알고리즘에 따른 추천이 학습자들의 만족도를 높일 수 있는지 확인하는 것이 중요하다고 보았다. 본 연구는 위와 같은 필요성에 기반 하여, 다음과 같은 연구문제를 도출하였다. 1. 외국어 학습용 AI 앱 만족도와 관련하여 학습자 변인들의 중요도는 어떻게 다른가? 2. 학습자 변인 별(인구통계학적 변인, 학습양식, 학습동기, 학습경험) 중요도를 반영한 외국어 학습용 AI 앱 추천시스템의 만족도 예측 성능은 어떠한가? 3. 학습자 변인 별(인구통계학적 변인, 학습양식, 학습동기, 학습경험) 중요도를 반영한 외국어 학습용 AI 앱 추천시스템의 실제 만족도는 어떠한가? 학습자 변인 및 앱 사용 만족도와 관련된 사전데이터 수집에는 온라인 자기 보고식 설문과 기술통계 분석이 주로 활용되었으며, 학습자 변인의 중요도 판별에는 머신러닝 방식으로 랜덤 포레스트 회귀 알고리즘을 사용하였다. 예측 성능의 측정에는 정밀도(Precision), 재현율(Recall), F1-점수(F1-score)값을 활용하였고, 추천시스템의 실제 만족도 측정에는 설문지와 사후 인터뷰가 함께 사용되었다. 연구대상은 만 19세 ~ 39세의 일반 성인 남녀로 설정하였으며, 연구의 절차는 준비 → 시스템 구축 → 시스템 평가의 단계로 하였다. 준비단계에서 사전 데이터 수집을 위해 총 100명의 학습자를 대상으로 14개로 소분류된 학습자 변인과 18개 앱에 대한 557개의 만족도 데이터를 확보하였다. 시스템 평가 단계에는 총 30명이 온라인 비대면 환경에서 참여하였으며, 구축된 추천시스템에 대한 만족도를 평가하였다. 주요 연구결과는 다음과 같다. 첫째, 외국어 학습용 AI 앱 만족도와 관련하여 학습자 변인별의 중요도를 산출한 결과 14개의 소분류 변인 중에서 가장 높은 중요도를 가지는 상위 3개의 변인은 학습동기의 하위변인인 통합적 동기 > 동기평균 점수 > 도구적 동기였으며, 뒤를 이어 학습 경험과 관련된 언어 학습 횟수, 학습양식의 정보처리 변인이 높은 중요도를 가지는 것으로 나타났다. 즉, 전반적으로 언어 학습동기, 학습양식(정보 처리), 사용 빈도 등이 나이, 성별, 직업과 같은 일반적인 인구 통계 정보보다 중 요도가 더 높음을 확인하였다. 따라서 학습자의 요구를 더 잘 반영하는 추천시스템을 개발하기 위해서는 학습동기와 같은 정서적 영역에서 학습자 관련 변수를 고려하는 것이 중요하다는 결론에 도달하였다. 둘째, 학습자 변인 별 중요도를 반영한 외국어 학습용 AI 앱 추천시스템이 무작위로 추천한 더미(dummy) 모델(리스트의 모든 앱을 학습자 모두에게 추천하여 평가받는 것을 가정한 알고리즘) 보다 더 우수한 앱 만족도 예측력을 보였다. 즉, 랜덤 포레스트 회귀방식으로 예측한 학습자 변인의 중요도를 반영한 알고리즘의 정밀도, 재현율, F1 점수의 값은 정밀도 .647, 재현율 .403, FI 점수 .494인 반면, 더 알고리즘의 무작위 추천은 정밀도 .564, 재현율 .388, F1 점수 .459로 확인되었다. 따라서 개별 학습자 변인의 중요도를 반영하여 알고리즘을 구성하는 것이 외국어 학습용 AI 앱 추천시스템의 예측력을 높인다는 결론을 내릴 수 있다. 셋째, 변인 별 중요도를 반영한 외국어 학습용 AI 앱 추천시스템의 실제 만족도를 확인한 결과 실제 시스템의 정밀도는 .833으로 비교적 높은 성능을 보였다. 설문지로 수집된 추천시스템 만족도 평가 점수도 전 문항에 걸쳐 5점 만점에 4점 이상 점수를 획득하여, 추천시스템을 사용한 학습자들이 대체적으로 시스템에 만족하고 있음을 확인하였다. 영역별 문항평균 점수(5점 만점)를 보면 정확성과 자기참조 영역이 4.33점, 만족 영역이 4.30, 새로움 영역이 4.00점으로 각 영역이 고르게 높은 만족도를 보였다. 또한 설문지와 사후 인터뷰를 통해 해당 추천시스템이 1) 학습자 변인들을 고려하여 학습자들의 목적이나 관심사에 맞게 학습용 앱을 추천한 점이 학습자들의 높은 만족도에 영향을 주었다는 점, 2) 해당 추천시스템의 앱의 초기 접근성을 높였다는 점, 3) 앱을 통한 어학학습에 대한 인식 전환의 계기가 되었음을 확인하였다. 본 연구의 결과를 바탕으로 외국어 학습용 AI 앱 추천시스템의 효과성을 높이기 위한 시사점을 다음과 같이 논의하였다. 첫째, 외국어 학습용 AI 앱 추천을 포함한 교육용 추천에서 학습자의 요구를 더 잘 반영하기 위해서는 학습양식과 같은 인지적 영역 뿐 아니라 학습동기와 같은 정서적 영역에서 학습자 관련 변수를 고려하는 것이 중요하다. 둘째, 추천시스템을 구축함에 있어서 학습자 관련 변인 간의 상대적 중요도를 반영함으로써 알고리즘의 예측 성능을 높여야 한다. 셋째, 각각의 학습자 변인의 가중치를 반영하여 추천시스템을 구축하는 것은 실제 추천시스템에 대한 높은 만족도를 이끌어 낼 수 있다. 넷째, 현재의 추천시스템을 더욱 개발하고 보완해 나감으로써 학습용 콘텐츠로서의 앱에 대한 초기 접근성을 높이며, 앱을 활용한 어학학습 경험을 긍정적으로 인식하게 돕고, 학습자들의 목적이나 관심사에 맞는 앱을 추천하여 학습자들의 높은 학습만족도를 이끌어 낼 수 있다. 본 연구의 제한점과 이를 바탕으로 도출한 후속연구에 대한 제언은 다음과 같다. 첫째, 자료의 범위의 측면에서 해당 모델은 14개의 소분류 변인과 학습자의 정적인 특성만을 포함하였다는 제한점이 있다. 따라서 다양한 변수로 모델을 확장하여 추천시스템을 발전시켜 나갈 필요가 있다. 둘째, 추천 방법 측면에서 본 연구에서 활용한 방식은 한계가 있다. 추천에 각기 다른 앱의 속성이 반영되지 못하였고, 학습자 변인 수집을 위해 비교적 긴 자기 보고식 설문조사를 활용하였다. 향후 연구에서는 추천 대상이 되는 외국어 학습용 AI 앱의 특성에 대한 분석을 반영하고, 명시적인 자기 보고식 설문방식 대신 학습자 관련 변인을 포착하기 위한 대리 지표나 자동 감지기 등의 활용 방안이 고려될 필요가 있다. 셋째, 중요도 도출 방법 측면에서 랜덤 포레스트 회귀 방식 외에 다양한 머신러닝 방식 서포트 벡터 머신(Support Vector Machine), 그래디언트 부스팅(Gradient Boosting), 심층 신경망 모형(Deep-neural network Model) 등을 적용하여 학습자 변인 간의 복잡한 상호작용을 반영하여 중요도를 도출하고, 알고리즘의 설명력을 높여야 한다. 넷째, 추천시스템의 만족도 보완 측면에서 콘텐츠, 태그, 기여자 정보등과 같은 다양한 자원요소나 추천의 중요도, 추천의 이유, 기여자 정보와 같은 요소들을 고려하여 추천시스템의 만족도를 끌어올릴 필요가 있다. 다섯째, 실제 비형식 학습 환경에서 학습자들이 활용하는 교육/학습용 자료는 앱에 국한되지 않기 때문에, 동영상 기반 플랫폼이나, MOOCs, 일반 교육용 웹사이트 등 다양한 학습 자료를 포괄하여 학습자들의 요구에 맞게 추천하는 방식이 고안될 필요가 있다. 이러한 제한점에도 불구하고, 본 연구가 비형식 학습에서 학습자들이 자신에게 맞는 외국어 학습용 AI 앱을 선택하는 데에 기여함으로써, 모바일 플랫폼을 통한 학습 만족도를 끌어올리고 학습 성과를 높일 수 있기를 기대한다.