학습분석학적 관점에서 개발한 시각화 대시보드가 학업성취도에 미치는 영향에 대한 탐색적 연구

Abstract

There were several discussions to utilize massive data stored in learning management systems in schools and corporate training environments. Learning analytics is to efficiently analyze a massive amount of data, to the step further of using mining results to add teaching-learning treatment and thereby of including the step of controlling academic achievement (Elias, 2011). When learning analytics is used, it is possible to evaluate learners'' learning progress, predict their future achievements or find and treat their potential problems, and thereby give learners immediate and individualized instructional treatment they need. Among many types of instructional treatments, visualized dashboard is famous for its effect on self-knowledge, self-reflection, and self-encouragement(Duval, 2013; Verbert, Duval, Klerkx, Govaerts, & Santos, 2013). The purpose of this research is to explore the effect of learning analytics dashboard (that include the information of learner's online activities and the average activities of other learners' in class) on academic achievement, with experimental research and survey research, then synthesize those to find useful implications. The research questions are as follow. 1. Would the treatment with the visual dashboard that provide information about learners' online learning activity has positive effect on learners' academic achievement? 2. How would the users perceive and evaluate the treatment? To solve these research questions, this research collected data from 66 learners of two class of E university in Korea(A class 28, B class 38). Learners of each class were divided into control group and experiential group. Learning analytics dashboard that include seven online activity information(online activity summary, total log-in time, total log-in frequency, log-in regularity, visit on board, time spent on board, visit on repository) was provided to the experiential group. Later, subjects were re-divided into two groups of "user group" and "non-user group" according to their usage of LAD. The survey to explore users' perceptions and evaluation on LAD were distributed and collected via online, after the experiment was finished. The collected data were used for descriptive analysis, ANCOVA, and ANOVA by SPSS. The results of this research is as follows; According to the result of statistical analyses, learning analytics dashboard shows no significant effect on academic achievement in this research, Survey research shows follows: 1) Users did not rate highly on the usefulness of LAD, 2) Users did not obtain confidence or continuously observe their online activity by using LAD, and 3) Users expressed questions on the usefulness of each item presented on LAD. There are three reasons why the effect of LAD on academic achievement was not significant in this research. First, online activity was not academically important in A, B class, so that learners' online activity was not as active as we expected. Second, learners did not feel or recognize the usefulness of each information that the learning analytics dashboard included. Third, for the purpose to keep the research condition as natural as possible, the researcher did not encourage learners to use the learning analytics dashboard or detailed explanations or expected benefit. Based on the results, this research drew the following suggestions: First, it is needed to observe and analyze the learners' behavioral change with the learning analytics dashboard in long-term point of view, along with academic achievement. Second, it is suggested that re-investigate the effect of learning analytics dashboard with sufficient encouragement, detailed manual, and information about expected benefit. Third, it is necessary to diversify the course types of subjects such as in on/offline environment, instruction type, size of class, etc. Forth, it is recommended to examine the effect of learning analytics dashboard in corporate training environment since the treatment with learning analytics perspective is related with performance analytics in corporate training, so that it would ultimately help to enhance corporate productivity.;정보통신기술의 발달과 더불어, 기업과 학교를 비롯한 다양한 조직에서는 구성원의 학습을 보다 더 체계적으로 관리하기 위한 목적으로 학습관리시스템(LMS: Learning Management System)을 활용하고 있으며, 이 시스템 내에는 방대한 양의 학습자 행동 데이터가 축적된다. 그간 이러한 데이터를 분석하여 교육적 목적을 달성시킬 수 있는 대안으로 데이터마이닝 기법이 논의되어 온 바 있으나(Zaïane & Luo, 2001), 학습분석학은 여기에서 한걸음 더 나아가, 데이터마이닝 결과를 활용하여 교수학습적 처방을 가하여 학습 성과를 통제하는 단계까지를 포함한다(Elias, 2011). 최근 들어 이러한 관점에서 빅 데이터를 활용한 교육적 데이터마이닝, 나아가 학습분석학적 접근 방식을 사용하여 온라인상의 데이터를 학습자에게 유용한 방향으로 활용하고자 하는 연구가 활발하게 이루어지고 있다. 그러나 이러한 연구들은 대체로 온라인 데이터들이 학습자에게 미치는 영향을 규명하거나 예측모형을 도출하는 데에 그쳤을 뿐, 이러한 연구결과를 활용한 처치의 개발과 적용까지 이른 연구는 아직 국내외적으로 아직 시작 단계에 머무르고 있다. 교육 분야에서 학습자에게 제공되는 처치는 과제, 환경, 교수법 등 여러 방식으로 진행되고 있으며, 그 중에서도 데이터마이닝을 활용한 시각화 대시보드 처치는 자신의 활동에 대한 정보를 제공 받음으로써 자기지식을 향상시키고(Verbert, Duval, Klerkx, Govaerts, & Santos, 2013) 자기 평가 및 자기 격려를 수행할 수 있도록 해준다(Duval, 2013)는 면에서 널리 활용되고 있다. 그러나 LMS 상에서 이루어지는 여러 가지 학습자 행동을 종합적으로 분석하고 학습자의 실시간 행동 양상에 대한 정보를 제공하는 시각화 대시보드를 자체적으로 개발하고 적용하는 연구는 국내 대학에서는 아직 활발하게 이루어지지 않고 있다. 시각화 대시보드 처치를 제공하여 학업성취도에 대한 영향을 검증할 때, 자기조절학습능력 또한 고려할 필요가 있다. 자기조절학습은 “학습자가 스스로의 학습 상태를 파악하고 학습 목표 및 계획을 수립하며, 학습 과정과 속도를 조절하면서 자신의 인지, 동기, 행동을 평가하고 조절하고 통제하는 과정(Pintrich, 1995, p. 5)”이며, 이는 학업성취도와 밀접한 연관을 가진다는 것이 여러 연구들을 통해 검증된 바 있다. 이러한 관점에서 볼 때, 학습자에게 제공된 시각화 대시보드가 학업성취도에 미치는 영향을 탐색함에 있어, 개개인의 자기조절학습능력 수준을 통제할 필요가 있다. 본 연구의 목적은 학습자 본인의 온라인 활동 정보와 다른 학습자의 평균적 온라인 활동을 시각화하여 제공하는 대시보드가 학습자의 학업성취도 향상에 도움이 되는지에 대해 탐색하고, 나아가 처치를 제공받은 학습자들에 대한 조사연구를 병행하여 이후의 시각화 대시보드 연구 개발에 대한 시사점을 제공하는 것이다. 이러한 연구 목적에 따라 설정한 본 연구의 연구 문제는 다음과 같다. 1. 대학 학습 환경에서 온라인 학습 행동 및 학습자의 현재 학습 상황을 시각화하여 제공하는 대시보드 처치는, 자기조절학습능력 변인이 통제된 상태에서, 학습자의 학업성취도에 어떠한 영향을 미치는가? 2. 해당 대시보드 처치에 대한 학습자의 인식과 평가는 어떠한가? 이와 같은 연구문제를 규명하기 위하여, 본 연구에서는 서울 소재 E대학의 강의 2개의 수강생 각 30과 50명을 연구대상으로 선정하고 실험군과 통제군으로 나누어 학습분석학적 관점에서 자체 개발한 시각화 대시보드(LAD: Learning Analytics Dashboard)를 제공하였다. LAD는 학습자 자신의 온라인 활동 정보(온라인 활동 요약, 총 로그인 시간, 총 로그인 횟수, 로그인 간격, 게시판 이용 건수, 게시판 이용 시간, 자료실 이용 건수)와 다른 학습자들의 평균적인 추세에 대한 정보를 제공한다. 이후, 본 연구에서는 시각화 대시보드 처치의 유무를 독립변수로, 학습자의 개인 학업성취도를 종속변수로 하여 시각화 대시보드의 효과를 검증하였다. 이 과정에서 단순히 실험군과 처치군 집단에 의한 기계적 분석에 그치지 않고, 웹 로그 데이터를 통해 실험군 학습자 중에서 실험 종료 시점까지 LAD를 한 번도 사용하지 않았기 때문에 실제로 처치를 제공받았다고 볼 수 없는 학습자를 분류하여 더욱 실질적인 검증을 시도하였다. 또한, 대시보드를 사용한 학습자들에게 설문조사를 실시하여 학습자들이 대시보드에 갖는 인식과 평가를 분석하였다. 이상의 연구과정에 의해 나타난 연구결과는 다음과 같다 통계적 분석을 통해 시각화 대시보드 LAD가 학업성취도에 미치는 영향을 검증한 결과, A 수업과 B 수업 모두 그 효과가 통계적으로 유의미하지 않은 것으로 나타났다. 또한 설문조사의 결과로는 첫째, 학습자는 대시보드의 자체의 유용성에 대해 낮게 평가했으며, 둘째, LAD를 통해 학습에 대한 자신감을 얻거나 자신의 학습 과정에 대해 지속적인 관찰을 하게 되지 않았고, 셋째, 제시된 정보의 각 항목의 유용성에 대해 의문을 피력하였다. 그에 따른 논의와 시사점은 다음과 같다. 첫째, 실험 대상이었던 A, B 수업에서 온라인 활동의 비율은 매우 낮았기 때문에 온라인 활동에 국한하여 정보를 제공하는 시각화 대시보드가 기대만큼의 효과를 보지 못했으리라는 예상을 할 수 있다. 둘째, 학습자들이 LAD에 제시된 각 정보들에 대해 유용성을 느끼지 않았다. 추후 LAD의 수정개발 단계에서는 학습자의 입장에서 궁금해 하고 필요한 정보가 어떤 것인지를 탐색하고 그러한 정보들을 포함해야 하며, 학습자들이 각 항목에 대해 쉽게 이해하고 항목 별로 어떠한 점에서 자신에게 도움이 되는지에 대해 인식할 수 있도록 해야 한다. 셋째, 실험 대상자들에게 LAD 전반에 대한 사용 격려나 활용 방향에 대한 자세한 안내, 그리고 사용했을 시에 기대되는 장점에 대하여 소개하지 않았다. 학습자들이 시각화 대시보드에 자주 접근하고 활용하기 위한 동기를 자극하고 궁극적으로 처치의 효과성을 향상시키기 위해서는 대시보드가 실질적으로 학습자에게 어떤 도움을 주는지에 대해 충분한 정보를 제공하고 설득하는 과정이 필요할 것이다. 본 연구를 통해 다음과 같이 후속 연구를 위한 제언을 하고자 한다. 첫째, 시각화 대시보드의 효과 검증을 위한 종속변수를 학업성취도 보다는 온라인 행동패턴의 변화로 하여 장기적 관점에서 관찰 및 분석할 필요가 있다. 둘째, 학생들에게 시각화 대시보드를 적극적으로 사용하도록 독려하고, 각 정보 항목에 대한 자세한 매뉴얼을 제공하고, 시각화 대시보드를 사용함으로써 얻을 수 있는 학습자의 이점에 대해 충분한 설명이 이루어진 환경에서 시각화 대시보드의 효과를 재검증할 것을 제안한다. 셋째, 온오프라인 환경(블렌디드 러닝 수업, 100% 온라인 수업 등), 수업 방식(프로젝트 기반 수업, 토론 위주 수업 등), 그리고 수업 규모에 따른 다양한 수업 환경에서의 시각화 대시보드 효과 검증이 필요하다. 넷째, 이후의 검증 과정에서는 기업교육환경에서의 적용 및 검증도 필요할 것이다. 기업교육환경에서의 학습분석학적 처방은 장기적 관점에서 성과분석(performance analytics)을 통한 기업의 생산성 제고에 도움이 될 수 있다는 점을 고려할 때, 충분히 그 가치를 기대할 수 있을 것이다.