대학 이러닝 환경에서 학습자 행동 로그에 기반한 군집 별 학업성취 예측모형 비교

Abstract

정보통신기술(Information and Communication Technology: ICT)의 발달은 이러닝(e-Learning)의 도입과 함께 새로운 교수-학습법을 확산시켰으며(Garrison, 2011), 학습자들은 강의실로 국한되었던 전통적 학습 공간에서 벗어나 컴퓨터와 인터넷, 모바일 및 스마트 기기 등을 활용해 온라인으로 학습 환경을 확장하였다. 일반적으로 이러닝은 시공간을 자유롭게 활용할 수 있는 독립적 환경을 제공하며, 학습자가 적극적으로 지식을 구조화해야 하는 학습자 중심의 학습 패러다임이기에 학습자의 참여 정도에 따라 교육의 성과가 달라질 수 있다. 따라서 대학교육 관계자들은 이러닝에서 학습자들의 참여를 촉진하고 더 나아가 학습을 효과적으로 지원하기 위해 ‘학습 관리 시스템(Learning Management System: LMS)’을 제공해왔다(Dalsgaard, 2006). 교수자는 LMS를 통해 다양한 학습자 특성에 따른 개별적 강좌 구성을 할 수 있으며, 온라인 환경에서 진행되는 학습 행동을 관찰하고 분석하여 개선점을 발견하고, 학습이 꾸준히 발전할 수 있도록 하는 환경을 조성한다. 교수자와 학습자가 LMS를 활용함에 따라 생성되는 활동 정보는 ‘로그 데이터(Log Data)’의 형태로 서버에 자동으로 축적된다. 실시간으로 저장되는 무수히 많은 행동 로그는 학습자의 온라인 행동을 파악할 수 있는 중요 정보를 포함하고 있기 때문에 궁극적으로 학습자를 이해하는데 도움을 줄 수 있다(Mostow et al, 2005). 그러나 최근까지 LMS에 저장된 행동 로그를 기반으로 한 대다수의 연구는 각기 다른 특성을 지닌 학습자들을 단일 집단으로 간주하여 분석을 실시해온 경향이 있다(Macfadyen & Dawson, 2010). 이러닝과 같은 학습자 중심 학습 환경에서는 개인에게 많은 자율성이 부여됨에 따라 학업 태도 및 과정에 차이가 발생하고 학습 주제, 교수방법 및 자료가 다양하게 변화함에 따라 학습자 별 상이한 패턴을 나타낼 가능성이 증가하지만, 이에 대한 고려가 부족했던 것이다. 학습자의 다양한 행동 양상은 저마다 다른 개인 속성 및 학습자 심리 요인에 기초한다(조일현, 2012). 대학 이러닝 환경에서 개별 학습자의 특별한 요구와 행동에 기반한 최적 학습 환경 제공을 위해서는, 이들의 인지적, 정의적, 행동적 수준을 종합하여 유사 학습자군을 규명해보는 일이 개별화 된 맞춤형 이러닝 제공을 위한 출발점이 될 수 있을 것이다 학습자 군집의 도출은 학습 개선을 위한 처방적 측면에서 위험군에 속한 학생의 예측할 뿐만 아니라 그들의 학업성취를 향상시키기 위한 ‘예방적’ 처방까지 마련한다. 이처럼 학습자의 유형을 군집화하려는 노력은 좀 더 효과적인 교수-학습을 개발하고 또 개선하고자 하는 첫 걸음이기 때문에 행동을 기반으로 한 학습자 특성 이해와 학습 행동 결과 해석이 주목 받고 있다. 그러나 학습자 군집 유형에 대한 지속적 연구가 이루어졌음에도 불구하고, 학습자의 온라인 활동 특성을 명확하게 표현할 수 있는 기준 변수 개발 또는 군집분석 결과에 대한 실증적 비교 연구, 최적 학업성취 예측모형 형성에 대한 방향은 제안되지 못했다. 다양한 성향을 지닌 학습자의 군집분석은 통계적 의미에서 집단을 세분화한 것에 그치지 않고, 군집의 특성 규명을 통해 ‘실용적 교수-학습 처방’을 제공할 수 있다는 의미가 있다. 때문에 맞춤형 처방의 실제적 적용과 최적의 학업성취 예측모형을 찾기 위해 전체 집단과 세분화 된 집단의 예측모형 및 결과를 대조해보는 비교 연구의 필요성이 제기된다. 이러한 탐색적 연구 절차를 통해 궁극적으로 학습자 심리 기제를 이해하고, 학습 행동 및 성취를 예측하며, 예측에 기반한 맞춤형 처방을 개발하는 일련의 학습 매커니즘을 순환적으로 발전시킬 수 있을 것으로 기대된다. 따라서 본 연구는 대학 이러닝 환경에서 온라인 행동 로그를 기반으로 학습자 군집화를 진행하여 학습자 특성을 반영한 학업성취 예측모형을 구성하고, 예측모형 간 비교를 진행해보고자 한다. 학습분석학적 관점에 기초한 본 연구의 목적은 대학 이러닝 환경의 학습자 행동 이해에 적합한 최적의 기준변수와 학습자 군집화에 대한 실제적 적용을 제안하고, 각 군집에게 적절한 맞춤형 처방 제공을 위한 교수-학습적 시사점을 도출하는 것이다. 이러한 연구의 필요성과 목적에 따른 구체적 연구문제는 다음과 같다. 연구문제 1. 대학 이러닝 환경에서 학습자 행동 로그에 기반한 군집 별 학업성취 예측모형은 투입된 온라인 행동 변수 간 예측력(β)에서 차이가 있는가? 연구문제 2. 대학 이러닝 환경에서 학습자 행동 로그에 기반한 학업성취 예측모형은 전체집단 대상 예측모형과 군집 별 예측모형의 설명력(R^2)에서 차이가 있는가? 본 연구는 서울 소재 E 여자대학교 경영통계 이러닝 강의 수강생 377명을 대상으로 진행되었고, 연구를 위한 데이터는 해당 강의의 LMS에 축적된 학습자 온라인 행동 로그데이터를 바탕으로 구성되었다. 1) LMS 접속(접속 시간, 접속 빈도, 접속 간격 규칙성), 2) 게시판 활용(활용 시간, 활용 빈도, 활용 간격 규칙성)과 3) 동영상 재생(재생 시간, 재생 빈도, 재생 간격 규칙성) 관련 데이터가 이에 속한다. 데이터 수집 후 기술통계분석과 상관분석을 진행하였고, 군집분석 결과에 따라 어떠한 학습자 군집 양상이 도출되는지 확인하기 위해 K-평균 군집분석을 실시하였다. 또한, 군집분석 후 도출된 학습자 군집에 따른 학업성취 예측모형의 비교를 위해 여러 차례 단계적 선택법을 통한 다중회귀분석을 실시하였다. 그러나 상관분석 결과 학업성취와 LMS 접속 시간, 게시판 활용 간격 규칙성, 그리고 동영상 재생 빈도는 유의한 상관관계를 가지지 않는 것으로 나타나 군집분석 단계에서부터 본 변인을 제외하였다. 본 연구의 결론은 다음과 같다. 첫째, 연구문제 1과 관련하여 전체집단 대상 예측모형과 각 군집 별 예측모형들에 포함된 예측변인들은 예측력에서 모두 차이가 있음을 규명하였다. 가장 주목할만한 변인은 게시판 활용에 관한 것이었다. 본 연구의 배경인 경영통계 강의는 사전에 교수자가 제작한 강의 콘텐츠를 사이버캠퍼스 상에 업로드하는 형태로 제공된 영상 기반 이러닝 강의였다. 때문에 학습 내용 또는 진행 과정에 대한 궁금증이 생기면 곧바로 질문이 가능한 면대면 수업과는 달리 ‘질문답변’ 게시판을 통해야 교수자와 소통할 수 있었다. 교수자 역시 강좌에 대한 안내 사항이 있을 시 ‘공지사항’ 게시판을 통해 학습자들에게 안내를 제공하였다. 즉, 교수자와 학습자, 학습자와 학습자 간 소통 창구의 역할을 사이버캠퍼스 내 학습 게시판이 담당했다고 볼 수 있다. 학습 과정에서 촉발되는 질문을 해결해야 학습 내용을 효과적으로 숙지할 수 있기 때문에 이러닝 강의에서 게시판 활용이 주효하였고, 게시판 활용 관련 변인은 학업성취를 정적으로 예측하는 결과를 나타내었다. 둘째, 연구문제 2로 설정하였던 전체집단 대상 예측모형과 군집 별 예측모형의 설명력 비교 결과, 학업성취 예측모형에 따른 설명력 차이가 존재함을 확인하였다. 특히 저조한 온라인 참여를 보였던 세 번째 군집의 예측모형 설명력이 확연히 증가하는 양상을 보였다. 봄학기 전체집단 대상 예측모형의 설명력은 27.5%였으며, 군집 3 예측모형의 설명력은 47.3%로 두 배 가까이 증가하였다. 가을학기에는 전체집단 예측모형의 설명력이 14.1%였으나 마찬가지로 군집 3 예측모형의 설명력은 39.0%로 세 배 가까이 급격한 증가를 보이는 결과를 나타내었다. 셋째, 봄학기와 가을학기 학습자들의 온라인 행동 로그를 기반으로 군집분석을 실시한 결과, 두 학기 학습자끼리 유사한 행동 패턴을 보였음을 확인할 수 있었다. 첫 번째로 두 학기 모두 세 개 군집으로 나누었을 때 가장 활발한 온라인 행동을 보인 집단, 중간 정도의 행동을 보인 집단, 그리고 가장 저조한 행동을 한 집단으로 구분되었다. 즉, 온라인 행동 정도 상-중-하의 구조를 따르고 있다. 또한 각 학기의 군집 별 온라인 행동 값이 유사하였다. 다시 말해 LMS 접속 빈도, LMS 접속 간격 규칙성, 게시판 활용 시간, 게시판 활용 빈도, 동영상 재생 시간, 동영상 재생 간격 규칙성의 여섯 변인에 대한 상대적 값이 유사하게 나타난 것으로 볼 수 있다. 두 번의 동일 강좌에서 유사 패턴이 나타난 것은 향후 동일한 과정이 제공될 때 미리 학습자의 특성을 파악하고, 군집 별 적절한 처방을 사전 제공할 수 있는 가능성이 존재함을 시사한다. 이러한 연구 논의를 바탕으로 다음의 시사점을 도출해볼 수 있다. 첫째, 동일 강좌를 수강하는 학습자 집단이 형성되어 있더라도 교수자는 개별 학습자의 행동 수준 및 참여도에 따른 학습자 군집 분류를 고려할 것을 제안한다. 이러닝의 경우 학습자의 자율성이 극대화되는 학습 환경이기 때문에 각기 다른 특성을 지닌 다양한 학습자가 존재할 것이고, 이들을 단일 집단으로 간주해서는 개인에게 효과적인 학습 처방을 제공하기 힘들 것이다. 둘째, 개별 학습자군에게 처방할 수 있는 차별화 된 피드백의 개발에 대해 논의할 것을 제안한다. 연구결과 학습자의 온라인 행동 특성이 상이하게 나타나기도 했지만, 학습 결과인 학업성취를 예측함에 있어 각기 다른 변인이 학업성취 예측모형에 포함된 것도 함께 확인할 수 있었다. 교수자가 학습 운영적 측면에서 학습자의 성공적 학업성취를 지원하기 위해 학업성취에 영향을 미치는 행동 특성을 고려한 맞춤형 피드백을 개발한다면, 대상 학습자에게 좀 더 유의미한 처방을 제공할 수 있을 것으로 기대된다. 본 연구의 진행 과정에서 나타난 제한점 및 후속 연구에 대한 제언은 다음과 같다. 첫째, 연구변인과 관련하여 본 연구는 학습자 온라인 행동 변인을 제외한 인구통계학적 변인, 심리적 변인 등은 반영하지 않았다. 학습 과정은 개인의 심리, 인지, 행동적 측면이 유기적으로 연관되어 있기 때문에 종합적 관점으로 바라보는 시도가 중요하며, 학년 별 분포, 사전 통계 강좌 수강 여부, 자기주도 학습 능력 등 학습과 연관된 여러 변인에 의해 새로운 결과가 도출될 가능성을 배제할 수 없다. 그러므로 학습자의 인구통계학적 요소, 인지적, 심리적 요인들을 온라인 행동 변인과 함께 종합적으로 이해하고 연구하려는 노력이 수반되어야 할 것이다. 둘째, 본 연구는 대학 이러닝 환경을 완벽하게 대변할 수 없다는 제한점을 가진다. 대학 이러닝 환경에는 혼합형 학습, 역전학습, 온라인 토론학습 등 다양한 교수-학습법이 포함될 수 있다. 최근 MOOC의 급격한 발전과 혼합형 학습 및 역전학습이 적극 활용되는 시대적 흐름은 지금보다 더 다양한 형태의 대학 이러닝 환경을 조성할 것으로 보인다. 따라서 연구대상 및 연구배경에 대한 다양성을 확보하여 대학 이러닝 환경과 그 안에 속한 학습자들을 다각도로 살펴보는 연구 관점의 확립이 요구된다. 살펴본 바와 같이 본 연구는 대학 이러닝 환경에서 학습자 행동 로그에 기반한 학습자 군집화를 진행하였고, 이를 통해 전체집단 대상 예측모형과 군집 별 학업성취 예측모형의 비교 분석을 진행하였다. 본 연구는 이러닝 환경을 조성 및 운영할 때 어떤 학습자 특성을 고려해야 하는지에 대한 이론적 토대로 활용할 수 있으며, 학습자 군집을 유형화하고자 하는 추후 연구의 참고 자료로도 기여할 수 있을 것이다.;Development of Information and Communication Technology (ICT) have diffused new teaching and learning method with the introduction of e-Learning (Garrison, 2011), which brings the changed environment to the majority of higher education in these days. Learners who escaped from traditional learning space which was limited to classroom, have extended their learning environments to online through computers, internet, even in mobile devices. In an independent environment such as e-Learning, learner’s active participation is necessarily needed. To support this, the parties who have concerned with higher education have been providing learning management system (LMS) (Dalsgaard, 2006). LMS is regarded as an essential system and it supports teaching and learning with useful functions (e.g., upload instructional materials, assignments, quizzes, discussion forums and projects-based learning). Online behavior information created by LMS utilization is automatically accumulated as a form of ‘log-data’ into server. Thousands of activity log which include critical information to apprehend learners’ online activity were stored in real time and these could be ultimately helpful when understanding diverse learners (Mostow, Beck, Cen, Cuneo, Gouvea & Heiner, 2005). However, early researches for identifying the relationship between the LMS activity log and the academic achievement were proceeded regarding heterogeneous learners as a single group (Macfadyen & Dawson, 2010). Individual learners who were allowed lots of liberty due to flexible e-Learning space, are having high possibility to show quite different online behavior patterns, however, researchers haven’t considered that issue so far. Learner’s diverse behavior patterns rest on every different characteristics and individual psychological factors. Therefore, to provide the better learning environment to the learner, considering overall cognitive, affective and behavioral level has to be the priority. Clustering the learners can provide ‘preventive’ treatment to improve learning achievement as well as can predict the at-risk learners as a prescriptive aspect. The trial for clustering the learners would be the foundation of developing the more effective teaching and learning methods and enhancing the results. Therefore, understanding learner characteristics and interpreting their behaviors have received an attention through the field of educational technology. However, despite the researcher had an interest making clusters, the way of making research variables which could represent online behavior patterns, interpreting clustering results, and developing proper prediction models were not suggested. Clustering the learners can be the meaningful manner to offer the ‘practical teaching and learning treatment’ by investigating the cluster’s attributes, not merely dividing the entire group into specific clusters. From these perspectives, the necessity of research was proposed to compare and contrast the entire class group and clustered-specific students for finding the best learning achievement prediction models and for practically applying customized treatment. Through an exploratory research, researchers could anticipate these processes cyclically developing learning mechanism by understanding psychological factors, predicting learning behavior, the outcome and developing customized feedback based on the real-time prediction progress. Therefore, this study is going to cluster the learners based on the online behavior log in university e-Learning, to compose learning achievement prediction models and to compare each prediction models. The purpose of study is to suggest the best online behavior variables when predicting the outcome of online learning and practical usage of learner clustering, and to draw the teaching and learning implications for offering customized treatment to each cluster. The followings are the definite research questions in accordance with these necessities and purposes. Research Question 1. What are the prediction models for each cluster and how vary the predictors in every models? Research Question 2. How changes the model explained from the single prediction model targeting the entire group to cluster-specific prediction models? Participants in this study were 377 college students from E women‘s university located in Seoul, South Korea. They took the online course titled ‘Management Statistics’ in both spring and fall semester of 2014. Researchers extracted learners’ behavior data from LMS log files and these online behavior log-data included three categorical activities; 1) LMS access (Total Login Time, Total Login Frequency, Login Regularity), 2) Board Usage (Visit on Board, Time Spent on Board, Login Regularity on Board), 3) Movie playback (Time on Movie, Frequency on Movie, Regularity on Movie). Major analysis for this study such as descriptive statistics, correlation analysis and cluster analysis using K-means clustering algorithm were conducted step by step. Furthermore, to compare the learning achievement prediction models according to learner clusters, multiple regression by stepwise method was implemented. However, total LMS login time, login regularity on the board and frequency on movie had no relation with the learning achievement, so these online variables were excluded from cluster analysis. The research conclusion from this study are as follows. First, all predictors included in the entire and cluster-specific prediction models had different prediction power. The most interesting point was about the board usage variables. The research background, ‘Management Statistics’ was the movie contents based e-Learning course which the instructor uploaded preparatory manufactured movie content in Cyber campus every single week. Therefore, if learners were curious about something related to learning, they had to write on the ‘Question & Answer’ board to interact with the instructor. Also, the instructor announced several notices through the board. In other words, the board in Cyber campus took charge of the role for communication window. Learner could effectively learn when they resolve their curious points, so the usage of board was critical to learn and this variable could positively predicted the learning achievement. Second, there was the difference of explanation ratio between the entire learner group and cluster-specific group in prediction models. Specifically, the third cluster’s (which show the lowest online behavior among three clusters) explanation was greatly increased compared to the entire result. The general prediction model explained 27.5% in spring semester, and this value uprose to 47.3% in cluster 3. Also, the entire group explained 14.1% and this value dramatically increased to 39.0% in fall semester. Thirdly, those two semester’s learners showed similarity in online behavior patterns. Total learners divided into three, those who were great, intermediate and poor participation. That is, the level of online behavior was followed high-medium-low structure. Furthermore, every cluster’s online behavior value was approximately the same. In other words, six online variables’ (LMS login frequency, LMS login regularity, board usage time, board usage frequency, movie playback time, movie playback regularity) relative values were showed similar figure. In accordance with the pattern similarities in two different semesters, researcher could derive the possibility that understanding the characteristics of learners and offering customized feedback in advance during the learning process. The implications derived from the results are listed below. First, instructors should consider making clusters according to the individual behavior patterns and participation even if the entire class was already made up. E-Learning is the environment which flexibility can be maximized, so if the instructors regard every learner as the same, they may not be able to treat learners in an effective or efficient way. Second, researchers in the field of education should discuss and conduct study about the differentiated feedback development to provide individual feedback to the learners. We found out that all prediction power and model explained were totally different in multiple regression. If education organizers provide customized feedback considering learners’ behavior, they would be able to receive more meaningful treatment for improving their learning outcome. However, there were some limitations in this study, so we are going to propose suggestions for further research. Firstly, this research couldn’t reflect demographics or psychological mechanism when analyzing online learners. Total learning process has relevance to the comprehensive cognitive, psychologic and behavioral factors, therefore, these mechanism should be synthetically considered to conduct further research. Secondly, the e-Learning course in this study was only cover movie content-based learning. More interesting results might be shown in other instructional environments such as blended learning, flipped learning, project-based learning or online discussion-based learning. Therefore, applying different research backgrounds and establishing diverse research perspectives are recommended. As discussed above, this study made clusters based on the learner’s behavioral log in university e-Learning environment and comparatively analyzed the entire and the cluster-specific groups’ prediction models. Taken together, this research could contribute to not only the theoretical basement when considering customized e-Learning environment but also the reference for further research which analyzes individual learners into clusters.