e-러닝에서 협업 필터링을 통한 추천시스템의 활용 가능성 탐색

Abstract

지난 10여 년간 e-러닝 시장의 양적 성장은 학습자에게 폭넓은 선택권을 부여했다. 주로 온라인으로 거래가 이루어지는 e-러닝 컨텐츠의 구매 특성 상, 전자상거래에서처럼 학습자가 직접 모든 정보를 알아서 수집하고 컨텐츠의 구매 결정을 위해 스스로 판단해야 하는 어려움을 가지고 있다(안상형, 최강화, 2005). 따라서 e-러닝 컨텐츠를 제공하는 기업, 학교 등의 제공자는 학습자의 선택에 도움이 될 수 있는 정보를 제공할 필요가 있다. 그러나 현재 e-러닝 시장에서는 인구통계학적 정보를 기반으로 하는 추천 방식을 위주로 제공하여 학습자는 현실감이 떨어지는 정보를 받고 있는 실정이다. 이에 전자상거래에서는 사용자 분석을 통한 개인화된 추천시스템을 통하여 매출 신장과 동시에 신뢰를 동시에 얻고 있다. 추천시스템은 전자상거래의 일부인 e-러닝에서도 의미를 가질 수 있으나 e-러닝 컨텐츠는 전자상거래의 상품과 다른 특성으로 추천시스템을 그대로 활용하기에는 무리가 있다. 그 이유는 e-러닝의 특성 상 학습자의 흥미뿐만 아니라 기존의, 지식, 경험 등의 수준이 고려되어야 하기 때문이다. 이렇듯 전자상거래의 한 측면에서 e-러닝에서 학습자들에게 개인화된 추천 서비스를 제공할 수 있는 가능성이 열려있음에도 불구하고 이에 대한 연구는 활발하지 못한 실정이다. 이에 본 연구에서는 e-러닝 추천시스템으로서 협업 필터링의 활용 가능성에 대해 실증적으로 탐색하며, 더 나아가 학습자의 평가 점수 분석을 통해 추천의 여부가 평가 점수에 영향을 미치는지에 대해 알아보았다. 본 연구는 e-러닝에서 협업 필터링을 통한 추천시스템의 활용 가능성을 탐색하는데 목적이 있다. 본 연구에서 검토하고자 하는 연구문제는 다음과 같다. 1. 협업 필터링을 통해 도출된 추천리스트는 학습자의 e-러닝 컨텐츠 선택을 예측하는가? 2. e-러닝 컨텐츠를 추천 받은 집단과 그렇지 않은 집단의 평가 점수 간에 차이가 있는가? 본 연구에서는 협업 필터링을 활용한 추천시스템의 실제 수강 예측 정도를 비율로 도출하고, 그에 따른 평가 점수의 차이에 대해 t-검정을 실시하였다. 그 연구결과는 다음과 같다. 첫째, 협업 필터링을 활용한 추천시스템의 실제 수강 예측 정도는 추천리스트의 4순위 수준에서 약 14.5%의 정확률을 보였다. 이는 임의로 4개를 선정하여 추천하였을 때의 확률(0.00047%)보다 높은 예측 성공률이다. 또한, 협업 필터링을 통한 추천 시와 임의로 추천 시의 정확률은 유의미한 차이가 있었다(χ2 = 107.2148, p = .00). 둘째, 추천의 여부에 따라 평가 점수에 유의미한 차이가 있었다(t = 4.89, p = .00). 특히 추천을 받은 집단의 점수가 그렇지 않은 집단에 비해 상대적으로 낮았다. 위와 같은 결과를 바탕으로 다음과 같은 시사점을 얻었다. 첫째, 협업 필터링을 통해 도출된 추천리스트는 학습자의 실제 수강을 예측한다는 점을 확인할 수 있었다. 단, 추천리스트가 제공하는 top-N 순위에 따라 그 예측 정도가 달라지는데 다수의 순위를 선정할수록 그 예측력은 높아지지만 학습자의 선택의 폭을 넓혀 추천시스템을 활용하는 의미를 잃게 할 수 있으므로, 추천 순위 제시에 있어 임계치의 설정이 필요하였다. 본 연구에서는 4순위까지 제공 시 약 14.5%의 정확률을 보였고, 이는 임의로 4개를 선정할 때의 확률보다 높은 성공률이다. 이를 통하여 학습자에게 협업 필터링을 통한 추천시스템을 활용하여 개인화된 추천이 가능하며, 뿐만 아니라 향후 학습자의 컨텐츠 선택을 예측할 수 있는 것을 알 수 있다. 이처럼 학습자의 목표 도달을 위한 학습 로드맵 작성이나 기업에서 임직원 교육을 위해 연간 교육 계획표를 작성 시에도 이와 같은 수강 패턴을 고려한다면 학습자에게 더욱 개인화된 서비스를 제공할 수 있어 학습자의 목표 달성에 도움이 될 수 있을 것이다. 그 이유는 내용에 위계가 있어 이에 따라 학습 순서가 정해진 내용의 경우에는 학습자에게 추천 없이도 컨텐츠의 선택이 가능하며, 학습 제공자의 입장에서 로드맵 작성 또한 문제가 되지 않는다. 그러나 단일 컨텐츠로 종료되는 경우 학습자의 선택의 혼란과 로드맵 작성의 근거가 부족할 수 있다. 이때, 추천리스트를 통하여 학습자의 수강 패턴 분석 자료를 활용한다면 경험적 자료를 통한 로드맵 작성에 도움을 줄 수 있다. 또한, 컨텐츠 개발을 위한 기획과 교수설계에 있어 참고할 수 있는 자료가 될 것 수 있을 것이다. 그 이유는 컨텐츠 개발 시 유사 컨텐츠에 대한 분석을 하고 그에 대한 정보를 활용을 하는데 있어 현재는 유사 컨텐츠 자체에 대한 분석(교수설계 방식, 전달 방식 등)을 기반으로 하고 있다. 이에 학습자의 수강 패턴 분석은 유사 컨텐츠를 학습한 학습자들의 이전 학습이나, 다음에 학습할 것이라 예상되는 컨텐츠를 통하여 컨텐츠 개발 시 참고할 수 있는 정보(학습자가 특정 교수학습 전략을 선호함 등)를 제공할 수 있다. 둘째, 추천의 여부에 따라 평가 점수에 유의미한 차이가 있다는 것을 확인하였다. 특히, 추천을 받은 집단이 그렇지 않은 집단보다 평가 점수가 낮았다. 이를 통하여 협업 필터링을 통한 추천시스템을 활용한다고 해서 학습자의 평가 점수가 높게 나타나지는 않는다는 것을 알 수 있었다. 그러나 본 연구는 학습자에게 실제로 추천을 하고 그 결과를 비교한 것이 아닌, 학습이 모두 완료된 후의 데이터를 기반으로 분석을 한 것이다. 따라서 본 연구의 결과가 학습자에게 추천을 함으로써 학습자의 평가 점수의 차이를 가져왔다기보다는 본 연구의 목적인 협업 필터링을 통한 추천시스템이라는 알고리즘의 e-러닝에서 적용 가능성을 검증하고자 했다. 이를 활용하여 성과를 얻기 위해서는 e-러닝 컨텐츠 제공자가 학습자에 대한 지속적인 패턴 분석을 통해 개인화된 추천을 할 필요성이 있다. 이때 학습자의 수강 패턴 분석은 단기간의 자료로는 이루어질 수 없기 때문에 장기적인 관심이 필요한 작업이라고 할 수 있다.;Over the past 10 years, the explosive growth of e-learning markets has offered various learning choices to learners. However, learners are facing difficulties in collecting and evaluating all the information online since transaction of e-learning contents mainly takes place online as in e-commerce (Ahn & Choi, 2005). Therefore, it is essential that e-learning content providers such as enterprise and schools present useful and helpful information to learners. Current e-learning market, however, is offering contents recommended by information based on demographics and as a result, learners are not getting the right information they need. Meanwhile, the e-commerce market has adopted personalized recommender system based on user analysis and saw greater revenue and gained reliability from users. This recommender system may be considered effective in e-learning as well. However, it is difficult to utilize the system itself as the contents of e-learning have different characteristics from products in e-commerce. This is because not only learner’s interest but also learner’s level, prior knowledge and experience need to be considered in e-learning. As a result, there are not many studies in this area in spite of the wide possibility of offering personalized recommender service to learners. Therefore, this study empirically examines the possibility of adopting e-learning recommender system using collaborative filtering and investigates the influence of recommender system on evaluation scores by analyzing learner groups’ evaluation scores. In other words, the purpose of this paper is to explore the potential of using recommender system using collaborative filtering in e-learning. The research questions are as the following. 1. Does the recommender list drawn from collaborative filtering predict the e-learning content choice of learners? 2. Is there a significant difference between the evaluation scores of learner groups according to the recommender system? This study drew rates of actual course taking predictability drawn from recommender system using collaborative filtering and applied t-test to compare the evaluation scores within groups. The research results are presented below. First, the actual course taking predictability of recommender system using collaborative filtering predicted 14.5% for top 4 rankings in recommender list. This figure is much higher than the rate (0.00047%) of 4 randomly selected e-learning contents. Furthermore, there was a significant difference between recommender system and randomly recommend (χ2 = 107.2148, p = .00). Second, there was a significant difference between the course evaluation scores according to recommender system (t = 4.89, p = .00). In particular, the score of the recommended group was lower than that of the non-recommended group. Therefore, some implications can be drawn as the following. First, the recommender list drawn from collaborative filtering was found to predict the actual course taking possibility of learners. The predictability varies according to top-N ranking offered by recommender list and the predictability is higher when several rankings are selected. However, too many rankings result in a wide variety of choices for learners and the recommender system would be useless, so selecting a critical value is essential in offering recommender ranking. Therefore, this study has set up top 4 rankings based on simulation and found 14.5% of predictability. This figure indicates higher rates than selecting 4 random e-learning contents. These results will be valuable resources in future e-learning contents management and development. Especially, if this course taking pattern is considered in designing learning road map and annual education plan in enterprise employee training, learners may benefit from customized service and can be supported to reach their learning goals. Second, there was a significant difference in the evaluation scores according to the recommender system. This implies that recommender system using collaborative filtering through a higher score does not appear to know. Thus, e-learning providers need to offer personalized recommendation by constantly analyzing learners’ course taking patterns. As this analysis cannot be conducted with short-term data, it seems essential that attention should be paid for a long period.