대학 온라인 학습에서 LMS 로그데이터를 활용한 자기조절학습전략 사용 예측요인 탐색

Abstract

코로나-19 바이러스 이후, 온라인 학습 환경에 대한 관심이 점차 가속화되고 있다. 특히 갑작스럽게 온라인 학습에 돌입하게 된 고등교육기관은 교수학습의 여러 측면에서 영향을 받았으며, 학습자 역시 학습 과정 및 성과에 영향을 받았다. 이에 따라 온라인 학습 환경에서 학습자들의 효과적인 학습을 위한 고민이 계속되고 있다. 온라인 학습 환경은 전통적인 학습에서보다 학습자의 역할을 강조하며, 개별 학습자들의 자기조절학습을 요구한다. 자기조절학습은 학습 과정에서 다양한 전략을 활용함으로써 실천된다. 학습자들은 온라인을 포함한 다양한 학습 상황에서 목표를 설정하거나, 자신의 학습 환경을 구조화하고, 학습에 수반되는 시간을 관리하거나, 교수자 및 동료 학습자의 도움을 구하는 등 인지, 행동, 맥락조절 영역의 구체적인 자기조절학습전략들을 사용하여 학습에 참여한다. 이때 전반적인 자기조절학습전략 사용은 다양한 유형의 실제 수업 환경에서 필수적이며 더 높은 성취와 연관되어 있다고 여겨진다. 일반적으로 자기조절학습은 오랫동안 학업 성취를 예측하는 변인으로 여겨져 왔으나, 학업성취를 예측하는 중요한 측면인 동시에 학습의 직접적인 목표이자 결과로 다루어질 수도 있다. 이에 학업 성과로서 자기조절학습을 촉진하는 조건 및 자기조절학습을 예측하는 변인에 대한 연구가 필요하다. 온라인 학습 환경에서 학습자들은 학습의 주체로서 다양한 학습의 증거를 생성한다. 특히 대학에서 주로 사용되고 있는 학습관리시스템은 학습자의 다양한 온라인 학습행동 데이터를 웹 로그 형태로 저장한다. 최근에는 이러한 방대하고 의미있는 데이터를 활용하여 학습 과정을 이해하고, 지원하는 데 통찰력을 제공해준다는 관점이 보편화되고 있다. 특히 교육적 데이터 마이닝 및 학습분석 기술을 적용하여 학습자들의 학습 과정과 결과에 영향을 줄 수 있다. 이에 따라 선행연구에서는 학습관리시스템 상의 실증적 로그데이터를 활용하여 실제적인 온라인 학습행동을 살펴보고, 학습분석 기술을 활용해 다양한 학업 성과를 예측하거나 학습자를 군집화하는 시도를 하고 있다. 본 연구에서는 이러한 필요성 및 선행연구의 작업들을 토대로 학습관리시스템으로부터 수집한 온라인 학습행동 데이터 중에서 학습자의 자기조절학습전략 사용을 예측하는 변수는 무엇인지에 대해 확인하고자 하였다. 특히 머신러닝 방법의 일종인 의사결정나무 및 랜덤 포레스트 분석을 활용하여 자기조절학습전략 사용을 예측하는 온라인 학습행동 변수를 살펴보고, 그 중요도를 도출하였다. 연구목적에 따라 도출된 연구문제는 다음과 같다. 대학의 학습관리시스템을 통해 확인할 수 있는 온라인 학습행동 데이터 중에서 [연구문제 1] 자기조절학습전략 사용을 예측하는 학습활동 변수는 무엇인가? 1-1. 인지조절 영역의 자기조절학습전략 사용을 예측하는 학습활동 변수는 무엇인가? 1-2. 행동조절 영역의 자기조절학습전략 사용을 예측하는 학습활동 변수는 무엇인가? 1-3. 맥락조절 영역의 자기조절학습전략 사용을 예측하는 학습활동 변수는 무엇인가? [연구문제 2] 자기조절학습전략 사용을 예측하는 학습관리 변수는 무엇인가? 2-1. 인지조절 영역의 자기조절학습전략 사용을 예측하는 학습관리 변수는 무엇인가? 2-2. 행동조절 영역의 자기조절학습전략 사용을 예측하는 학습관리 변수는 무엇인가? 2-3. 맥락조절 영역의 자기조절학습전략 사용을 예측하는 학습관리 변수는 무엇인가? 연구문제 확인을 위해 본 연구에서는 학습관리시스템 상에 매주 다양한 학습활동을 제시하여 지속적으로 로그 데이터가 누적 및 저장된 강의를 선정, 해당 강의를 수강하는 학습자 189명 중 연구 참여에 동의한 68명을 대상으로 로그 데이터 및 자기조절학습전략 사용을 측정하는 설문 자료를 수집하였다. 이후 개별 학습활동을 클릭하거나 제출한 빈도를 통해 산출할 수 있는 변수들과 일련의 학습활동들을 통해 확인할 수 있는 학습 시점을 기준으로 산출할 수 있는 변수들의 속성이 다르다고 판단하여 로그 데이터로부터 학습활동과 관련한 24개 변수 및 학습관리와 관련한 3개 변수, 총 27개 온라인 학습행동 변수를 도출하였다. 이들 변수를 기반으로 의사결정나무 및 랜덤 포레스트 분석을 실시하여 예측 모형을 도출하였다. 이를 바탕으로 확인한 본 연구의 연구결과는 다음과 같다. 첫째, 자기조절학습 전략 사용을 예측하는 학습활동 관련 변수를 확인한 결과는 다음과 같다. 먼저 인지조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습활동 관련 변수는 강의실 확인, 공지사항 모듈 확인, 읽기자료(파일) 확인, 읽기자료(링크) 확인 등이었다. 다음으로 행동조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습활동 관련 변수는 리포트 확인, 읽기자료(링크) 확인 등이었다. 마지막으로 맥락조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습활동 관련 변수는 퀴즈 리뷰, 읽기자료(링크) 확인 등이었다. 해당 연구 결과를 통해 먼저, 인지조절 영역의 경우 해당 영역의 하위요소와 유사한 특성을 보이는 학습활동 변수가 해당 영역의 자기조절학습전략 사용을 예측하는 데 중요한 역할을 한다는 점을 확인할 수 있었다. 또한, 행동조절 영역의 경우 도출된 중요 변수들이 해당 영역의 하위요소와 유사한 특성을 보인다고 보기는 어려웠으나 노력을 조절하고, 학습 시간 및 환경을 통제하는 등의 자기조절학습전략 사용과 관련이 있을 것으로 추측해볼 수 있다. 마지막으로, 맥락조절 영역의 경우 비교적 낮은 모형 정확도와 적은 중요 변수를 나타내어, 해당 부분을 확인할 수 있는 온라인 학습활동 변수를 더 탐색할 필요성과 함께 해당 영역 자기조절학습전략 사용을 계발하기 위해 필요한 지원을 시사하였다. 둘째, 자기조절학습 전략 사용을 예측하는 학습관리 관련 변수를 확인한 결과는 다음과 같다. 먼저 인지조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습관리 관련 변수는 학습시점 규칙성 및 학습시점 간격이었다. 다음으로 행동조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습관리 관련 변수는 학습시점 규칙성이었다. 마지막으로 맥락조절 영역의 자기조절학습전략 사용 예측 모형에서 상대적으로 높은 중요도를 나타낸 학습관리 관련 변수는 학습시점 규칙성 및 학습시점 간격이었다. 해당 연구 결과를 통해 학습관리 관련 변수의 경우 전반적으로 학습시점 규칙성, 학습시점 간격, 학습 횟수 순으로 자기조절학습전략 사용을 많이 예측한다고 볼 수 있다. 즉, 시기적절한 학습 참여가 자기조절학습전략 사용에 영향을 줄 수 있다는 것이다. 이러한 연구 결과는 선행연구 결과와도 일치하며, 성과로서 자기조절학습전략 사용 향상을 위해 규칙적인 학습 참여를 지원하는 방안 등을 고려할 수 있음을 시사한다. 본 연구의 의의를 요약하면 다음과 같다. 첫째, 학습자들의 온라인 학습행동을 나타내는 방대한 로그 데이터로부터 의미 있는 정보를 매핑하여 학습활동 관련 변수 및 학습관리 관련 변수들로 변수화하고 이를 기반으로 새로운 의미의 변수를 탐색했다는 의의가 있다. 둘째, 탐색한 변수들을 자기조절학습전략 사용을 예측하는 데 활용하여 자기조절학습 이론을 새롭게 조명하고, 이를 지원하는 데 시사점을 주었다. 특히 본 연구에서는 성과로서 자기조절학습전략을 설명할 수 있는 유의미한 변수들을 탐색하였다는 점에서 의미 있었다. 또한 인지조절, 행동조절, 맥락조절 영역의 자기조절학습전략 사용을 예측하는 변수를 각각 확인함으로써 각 영역에서 공통적으로 중요한 의미를 갖는 설명변수들과 특정 영역에 한정되어 중요한 의미를 가질 수 있는 설명변수들을 확인하였다. 이러한 의의를 종합하여 본 연구에서는 온라인 학습에서 학습자의 자기조절학습전략 사용을 예측하는 온라인 학습행동은 무엇인지 규명하고, 추후 온라인 학습에서 학습자의 자기조절학습을 지원하는 데 시사점을 주었다고 볼 수 있다. 그러나 본 연구가 가지는 제한점과 그를 바탕으로 한 후속연구에 대한 제언은 다음과 같다. 첫째, 본 연구에 참여한 학습자는 총 68명으로 전체 학습자의 역동적인 학습행동을 파악하는 데 한계가 있었으며, 작은 데이터셋으로 인해 분석을 수행하는 데 있어 일부 제한점을 가졌다. 따라서 후속 연구에서는 보다 큰 데이터셋을 마련하고, 특정 강좌 내 온라인 학습행동을 확인하는 경우 전체 수강생을 포함할 수 있도록 보완할 필요가 있다. 둘째, 본 연구가 이루어진 수업 맥락은 영어 수업으로, 본 연구에서는 대상 강좌의 특수성과 이로 인한 학습자의 인지부하 등 내외적 조건을 충분히 탐색하거나 고려하지 못했다는 한계를 가진다. 따라서, 추후 연구에서는 개별 연구 맥락의 특수성을 고려할 필요가 있으며 이를 반영하여 개별 학습자 및 집단의 특성과 필요에 맞춤화된 개입을 도출할 수 있을 것이다. 셋째, 본 연구에서는 특정 대학의 한 교과 로그 데이터만을 이용하여 해당 연구 결과를 일반화하기 어렵다는 한계가 있었다. 따라서 추후 연구에서는 다양한 맥락에서 적용하고, 적절한 개입을 개발할 수 있도록 보다 큰 데이터셋을 사용하거나 온라인 학습행동을 나타내는 변수를 다른 방법으로 범주화하는 등의 보완이 필요할 것이다. 넷째, 본 연구에서 온라인 학습행동을 실제적으로 확인한 것과는 달리 자기조절학습전략의 측정은 여전히 자기보고식 설문으로 이루어졌다. 따라서 후속연구에서는 보다 객관적인 지표를 활용하여 자기조절학습전략 사용을 측정하고, 이를 예측하는 변인을 추가로 확인할 수 있을 것이다. 다섯째, 본 연구에서는 자기조절학습전략 사용을 예측하는 변수를 확인하기 위해 학기가 종료된 시점의 데이터를 통합하여 예측분석을 수행하였다. 결과를 실제 맥락에 적용하기 위해서는 학기 중 지속적으로 분석이 수행되어야 하지만, 본 연구에서는 특정 시점의 개입이나 처방에 대한 유의미한 시사점을 나타내지 못했다는 제한점을 갖는다. 따라서 후속 연구를 통해 본 연구에서 확인한 온라인 학습행동 변수들이 학기 중 다양한 시점에서 계속해서 자기조절학습전략 사용 등 학업 성과를 예측하는지를 추가적으로 확인할 수 있을 것이다. 이러한 제한점에도 불구하고, 본 연구는 학습분석 및 교육적 데이터 마이닝을 통해 점차 증가하고 있는 온라인 학습 관련 데이터를 활용하여 온라인 학습 시 필요한 지원을 시사했다는 점에서 함의가 있다. 따라서 앞으로의 연구에서는 학습 종료 시점의 온라인 학습행동을 통해 영역별 자기조절학습전략 사용을 예측한 본 연구의 작업에서 더 나아가 학습자의 다양한 학업 성과와 이를 예측하는 요인, 시점 등을 탐색하고, 개별 학습자와 교수자에게 유용한 개입을 고민할 필요가 있다. 추후 후속연구를 통해 본 연구의 제한점과 한계를 보완하여 자기조절학습전략 사용을 포함해 학업 성과를 예측할 수 있는 온라인 학습행동 변수를 보다 실증적으로 확인할 수 있기를 기대한다.;After the COVID-19 pandemic, Interest in online learning has increased. Some higher education institutions which have been newly beginning online learning was affected by various aspects of teaching and learning, and learners were also affected by the learning process and performance. Accordingly, educators continue to study for effective learning in an online learning environment. The online learning environment emphasizes the role of learners rather than traditional learning and requires self-regulated learning of individual learners. And Thus, learners use specific self-regulated learning strategies in cognitive, behavior, and context control areas in learning situations, including online learning. This self-regulated learning has long been regarded as a variable predicting academic achievement. However, self-regulated learning can be treated as an important aspect and direct goal of academic achievement. But still, most studies mainly take the former perspective, so it is needed to study conditions that promote self-regulated learning or variables that predict self-regulated learning as academic performance. In an online learning environment, learners generate various evidence of learning as subjects of learning. In particular, the learning management system(LMS), which is mainly used in universities, stores various online learning behavior data of learners in the form of web logs. Currently, the view that these vast and meaningful data provide insight into understanding and supporting the learning process has become common. In particular, it is necessary to apply educational data mining(EDM) and learning analysis(LA) techniques to show potential effects on learners' learning processes and outcomes. Accordingly, previous studies are using empirical log data on the learning management system to examine actual online learning behavior and attempt to predict various learning outcomes or cluster learners using learning analysis technology. The current study tried to find out the variables which predict learners' use of self-regulated learning strategies among the online learning behavior data collected from the learning management system. In particular, decision tree and random forest analysis, which are a kind of machine learning methods are used. Through this analysis, the current study find the online learning behavior variables predicting the use of self-regulated learning strategies, and their importance was derived. The research questions are as follows. Among the online learning behavior data that can be checked through the university's learning management system, [RQ 1] Which learning activity variable predict the use of (cognitive, behavioral, contextual) self-regulated learning strategies? [RQ 2] Which learning management variable predict the use of (cognitive, behavioral, contextual) self-regulated learning strategies? To confirm the research questions, the current study selected a course that presented various learning activities on the learning management system and has vast log data accumulated and stored. After that, collecting the log data and questionnaires measured the use of self-regulated learning strategies from 68 who agreed to participate. By pre-processing the collected log data, 24 learning activity variables, 3 learning management variables, and a total of 27 online learning behavior variables were calculated. Based on these variables, a prediction model was derived by conducting a decision tree and random forest analysis. The results of this study are as follows. First, the results of confirming variables related to learning activities that predict the use of self-regulated learning strategies are as follows. 1) The learning activity variables which showed relatively high importance in the prediction model of the use of cognitive self-regulated learning strategies are course viewed, announcement module viewed, reading resource (file) viewed, and reading resource (link) viewed. 2) The learning activity variables which showed relatively high importance in the prediction model of the use of behavioral self-regulated learning strategies is report viewed, reading resource (link) viewed. 3) The learning activity variables which showed relatively high importance in the prediction model of the use of contextual self-regulated learning strategies are quiz review, and reading resource (link) viewed. Second, the results of confirming variables related to learning management that predict the use of self-regulated learning strategies are as follows. 1) The learning management variables which showed relatively high importance in the prediction model of the use of cognitive self-regulated learning strategies, were the regularity of learning interval and learning time interval. 2) The learning management variable which showed relatively high importance in the prediction model of the use of behavioral self-regulated learning strategies, was the regularity of learning interval. 3) The learning management variables which showed relatively high importance in the prediction model of the use of contextual self-regulated learning strategies, were the regularity of learning interval and learning time interval. Through the results of this study, it can be seen that in the case of variables related to learning management, the use of self-regulated learning strategies is widely predicted in the order of regularity of learning interval, learning time interval, and the number of learning. The significance of this study is summarized as follows. First, it is meaningful to map meaningful information from vast log data representing learners' online learning behavior to variables related to learning activities and learning management and to explore new variables based on this. Second, the searched variables were used to predict the use of self-regulated learning strategies to newly illuminate the self-regulated learning theory and give implications for supporting it. In particular, this study was meaningful in that it explored meaningful variables that could explain self-regulated learning strategies as outcomes. In addition, by checking variables that predict the use of self-regulated learning strategies in cognitive control, behavior control, and context control areas, explanatory variables with common significance in each area and explanatory variables that can have important meanings limited to specific areas were identified. In summary of these significances, this study identified the online learning behavior that predicts learners' use of self-regulated learning strategies in online learning and gave implications for supporting learners' self-regulated learning in future online learning. However, the limitations of this study and suggestions for follow-up studies are as follows. First, only 68 out of 189 students participated in this study, thus there was a limit to grasping the dynamic learning behavior of all learners. Therefore, a larger dataset needs to be prepared, and when confirming online learning behavior within a specific course, it is necessary to supplement it to include all students. Second, the class selected in the current study has the specificity that it was conducted in English rather than Korean. However, the current study did not sufficiently explore or consider internal and external conditions such as the specificity of the target course and the resulting cognitive load of learners. Therefore, it is necessary to consider the specificity of each research context in future studies, and by reflecting on this, customized interventions can be derived. Third, in this study, there was a limitation in that it was difficult to generalize the research results using only one subject log data from a specific university. Therefore, it will be possible to explore what important learning activities and learning management variables are in several similar types of subjects using the same technique used in this study. Fourth, unlike the actual confirmation of online learning behavior in this study, the measurement of self-regulated learning strategies was still made by a self-report questionnaire. Therefore, it will be possible to measure the use of self-regulated learning strategies using more objective indicators and further identify variables that predict them. Fifth, the current study conducted a predictive analysis by integrating data at the end of the semester to identify variables that predict the use of self-regulated learning strategies. Although analysis must be performed during the semester to apply the results to the actual context, this study has a limitation in that it did not show significant implications for intervention or prescription at a specific time. Therefore, it will be possible to additionally confirm whether the online learning behavior variables continue to predict academic performance such as the use of self-regulated learning strategies at various points during the semester. Despite these limitations, this study is meaningful in that it suggested the support necessary for online learning by utilizing increasing online learning-related data through learning analytics and educational data mining. Therefore, in future studies, it is necessary to explore learners' various learning outcomes and factors and perspectives that predict them and consider useful interventions for individual learners and instructors, and systems through online learning behavior at the end of learning. Through follow-up studies in the future, it is expected that the limitations and limitations of this study will be supplemented to more empirically check online learning behavior variables that can predict academic performance, including the use of self-regulated learning strategies.