동영상 학습 환경에서 학습자의 사전지식과 과제복합성 수준에 따른 인지부하의 시계열적 탐색

Abstract

Video-Based-Learning(VBL) has become one of the most popular learning methods during the past few years. The proliferation of new VBL models including Massive Open Online Courses(MOOCs) and Flipped Learning is offering both new opportunities and challenges to learning at scale. On one hand, learners are now able to get access to high quality learning materials at low cost, and “anytime and anywhere”. On the other hand, it has been pointed out that it is difficult for instructors and instructional designers to understand learner’s cognitive states during learning since there is a lack of contextual cues. As issues such as learner’s disengagement and drop out in VBL settings have become evident, a need for monitoring learner’s internal process has been raised. Learning analytics, which aims to extract insights from the data collected during learning processes, is suggested as a solution to understand learner and learning process in-depth. In this study, learning analytics approach has been taken to understand learner’s cognitive states and provide insights for the instruction. Of the multiple variables related to psychological constructs, cognitive load was chosen. Cognitive load refers to the total amount of mental activity imposed on working memory. As working memory is limited, managing cognitive resources efficiently and effectively can be the core of the instructional design. In this study, among the diverse causal factors of cognitive load, task complexity, which is one of the types of task characteristics and prior knowledge, which is one of the types of learner characteristics were chosen for the investigation. Therefore, the purpose of this study was to explore the impacts of level of prior knowledge (high vs. low; HPK and LPK) and task complexity (high vs. low; HTC and LTC) on cognitive load in VBL. Pupillary responses, which is known as one of the most highly validated proxy variables for cognitive load, were used to measure dynamic changes in cognitive load during learning. As units of analysis, three learning sections were set: Global, Local and Sub-local. Global section is divided into the two: Video 1 and Video 2. Two videos were different in terms of the topics covered. Local section is divided by each learning video considering its contents. Video 1 and Video 2 include 6 and 7 sections each in Local section. Sub-local section is also divided by each learning video considering its play time. Video 1 and Video 2 include 17 sections and 23 sections each in Sub-local section. The level of task complexity of each learning section was set from the results of content analysis. The study addressed the following research questions: Research question 1. What are the impacts of level of prior knowledge and task complexity on cognitive load in Global section in VBL settings? Research question 1-1. Is there a difference in cognitive load between HPK and LPK learners? Research question 1-2. Is there a difference between cognitive load of HPK learners in HTC and LTC learning sections and between cognitive load of LPK learners in HTC and LTC learning sections? Research question 2. What are the impacts of level of prior knowledge and task complexity on cognitive load in Local section in VBL settings? Research question 3. What are the impacts of level of prior knowledge and task complexity on cognitive load in Sub-local section in VBL settings? Research question 3-1. Is there a difference in cognitive load between HPK and LPK learners? Research question 3-2. Is there a difference between cognitive load of HPK learners in HTC and LTC learning sections and between cognitive load of LPK learners in HTC and LTC learning sections? To achieve this, 19 participants (11 females) from the universities were recruited. Only individuals with normal vision, or vision corrected-to-normal were allowed to participate in the study. This research was approved by the review board of Ewha Womans University. Written consent was collected from all participants at the start of the study. The pre-test was administered prior to the experimental sessions and was used to assign participants into HPK and LPK learners. In the experimental sessions, they watched two learning videos lecturing on the proposition in mathematics. During the process, pupil diameter was collected from right and left eyes at 30 Hz using the Tobii Pro X2-30 eye-tracker. After the data collection, all data were pre-processed and analyzed using R Programming. To test the difference in cognitive load of learners in Global learning section, Wilcoxson rank-sum test and Wilcoxson sign test were used. Second, time course of pupillary responses during the learning processes by each video was made and analyzed to see the dynamics of cognitive load. Local section information was written in the graph for the analysis. Third, pupillary responses by each Sub-local section from each participant was separated and set as a subsequence. Subsequence clustering was done using hierarchical clustering with CORT distance. The group selection was based on Ward’s method. Finally, a chi-square analysis was performed to decide whether there was a significant difference in cognitive load depending on the level of prior knowledge and task complexity. The results of this study are as follows: First, I investigated the cognitive load of learners in Global learning section. There was no significant difference in cognitive load between HPK and LPK learners. Also, there was no significant difference in cognitive load of HPK learners in HTC and LTC learning sections. The same was found for the LPK learners. Second, I investigated the cognitive load of learners in Local learning section. Time course of average pupillary responses by PK group showed the fluctuation of cognitive load during learning. Although the average magnitude of pupillary responses during the entire learning sessions was similar, but the dynamics was found in each Local learning section. Especially, there was a big difference between PK groups in HTC learning sections. Third, I investigated the cognitive load of learners in Sub-local section. To see the trends of pupillary responses in each Sub-local section, subsequence clustering was done. For Video 1 and Video 2, 7 clusters were made each. The clustering results were named as pattern and matched with one’s level of prior knowledge. To test the difference of pattern distribution, a chi-square analysis was done. At first, in Video 1, impacts of PK on cognitive load were tested. The results showed that there was a significant difference of pattern distribution between HPK and LPK learners. In HTC learning sections, there was no difference between PK groups. However, in LTC learning sections, there was a difference between PK groups. Second, impacts of TC on cognitive load were tested. There was no difference in pattern distribution of HTC and LTC learning sections. Also, there was no difference between pattern distribution of HPK learners in HTC and LTC learning sections. The same was found for the LPK learners. In Video 2, impacts of PK on cognitive load were investigated. The results showed that there was a significant difference in pattern distribution between HPK and LPK learners. In HTC learning sections, a difference was found between PK groups. However, there was no difference between PK groups in LTC learning sections. Second, impacts of TC on cognitive load were tested. There was a difference in pattern distribution between HTC and LTC learning sections. However, there was no difference between pattern distribution of HPK learners in HTC and LTC learning sections. The same was found for the LPK learners. The distribution of pupillary response patterns was diverse as a function of learner’s level of prior knowledge and task complexity. And the results implied that finer unit of analysis could show the dynamics of cognitive load in VBL. The implications of this study are as follows: First, learner’s internal process was investigated using continuous psycho-physiological responses obtained from authentic learning situation. Second, impacts of multidimensional casual factors on cognitive load were examined. Third, a novel approach to explore dynamic changes in cognitive load during learning was suggested. The suggestions for the future research are as follows: First, a study using diverse time-series analysis techniques to capture changes in cognitive load is needed. Second, a study using multimodal approach to understand the multidimensionality of cognitive load is needed. Third, a study for the direct measurement of types of cognitive load is needed.;동영상 학습은 모바일 기기의 보급과 대규모 온라인 공개강좌, 플립 러닝 등 새로운 학습 환경의 출현으로 인해 더욱 빠르게 확산되고 있다. ‘언제 어디서나’ 학습이 가능하다는 매체적 특성은 이러한 확산을 촉진한 주요 동인이지만, 교수자와 학습자의 시공간적 분리로 인해 학습자의 인지적정서적 상태를 파악하기 어렵다는 제한점을 가져왔다. 이는 결과적으로 학습자 태만, 중도탈락 등의 다양한 교육적 문제 현상들로 나타났다. 이를 해결하고 적응적 교수설계를 실현하기 위해서는 학습자의 변화하는 내적 과정을 이해하여 교수-학습 환경을 개선하는 증거기반의 학습분석학적 접근이 필요하다. 이에 본 연구에서는 학습자의 인지 구조에 기반하여 효과적인 학습 설계를 위한 지침을 제공하는 인지부하이론에 근거하여, 학습자의 사전지식과 과제복합성 수준에 따른 인지부하의 변이를 동공반응을 활용하여 탐구하고자 하였다. 이를 위해 동영상 학습 구간을 대구간중구간소구간으로 구분하여 분석 단위로 삼고, 사전지식과 과제복합성 수준에 따라 각 분석 단위에서 나타나는 인지부하의 차이를 다각적인 방식으로 탐구하고자 하였다. 이에 따른 연구문제는 다음과 같다. 연구문제 1. 동영상 학습 시 학습 대구간에서 학습자의 인지부하에 차이가 있는가? 연구문제 1-1. 사전지식 상·하 집단 간 인지부하에 차이가 있는가? 연구문제 1-2. 사전지식 상·하 집단의 과제복합성 상·하 구간별 인지부하에 차이가 있는가? 연구문제 2. 동영상 학습 시 학습 중구간에서 학습자의 인지부하는 어떠한가? 연구문제 3. 동영상 학습 시 학습 소구간에서 학습자의 인지부하에 차이가 있는가? 연구문제 3-1. 사전지식 상·하 집단 간 인지부하에 차이가 있는가? 연구문제 3-2. 사전지식 상·하 집단의 과제복합성 상·하 구간별 인지부하에 차이가 있는가? 본 연구에서는 수도권 소재 대학생 남녀 19명을 대상으로 실험을 실시하였다. 연구대상자는 각 10분 내외로 구성된 두 개의 학습 영상(영상1, 영상2)을 순차적으로 학습하였으며, 동공반응은 학습이 진행되는 과정에서 측정되었다. 사전시험 점수를 기준으로 사전지식 상·하 집단을 구분하였으며, 내용 분석을 통해 과제복합성 상·하 구간을 구분하였다. 데이터 수집이 완료된 후에는 기본적인 데이터 전처리를 거친 후, 사전지식 수준과 과제복합성 수준별 학습자의 인지부하를 비교하였다. 이를 위해 첫째, 학습 대구간에서의 학습자 동공반응에 대해 윌콕슨 순위합 검정, 윌콕슨 부호 순위 검정 등을 실시하였다. 둘째, 학습 중구간에서 연속적으로 수집된 동공반응의 시계열 그래프를 통해 인지부하의 변이를 시각적으로 탐색하였다. 셋째, 학습 소구간별로 보인 동공반응을 하위 시퀀스 군집화를 통해 동공반응 패턴을 도출하고, 카이제곱검정을 통하여 사전지식 수준과 과제복합성 수준에 따른 패턴 분포 차이를 검증하였다. 본 연구의 결과와 논의점을 요약하면 다음과 같다. 첫째, 학습 대구간에서 사전지식과 과제복합성 수준에 따라 인지부하에 차이가 있는지 확인한 결과, 각 수준에 따른 차이는 통계적으로 유의하지 않았다. 이는 평균 동공반응을 산출하는 분석 단위가 지나치게 넓은 데서 기인하는 것으로, 보다 세밀한 학습 구간에서 인지부하의 변이를 탐구해야 할 필요성을 시사한다. 둘째, 학습 중구간에서 학습자의 사전지식 수준과 과제복합성 수준에 따라 인지부하에 차이가 있는지 시각적으로 탐색한 결과, 전체 학습 과정에서의 평균선은 유사하였지만 구간별 변이가 다르게 나타났다. 이는 학습 대구간에서 영상 단위로 동공반응의 평균을 취했을 때는 발견되지 않았던 인지부하의 차이가, 보다 세부적인 분석 단위를 적용하였을 때 발견될 수 있음을 확인한 결과이다. 셋째, 학습 소구간에서 학습자의 사전지식과 과제복합성 수준에 따라 인지부하에 차이가 있는지 확인하였다. 먼저 영상1에서의 검증 결과는 다음과 같다. 첫째, 사전지식 수준에 따른 동공반응 패턴 비율 차이를 확인한 결과, 전체 구간에서의 사전지식 상∙하 집단 간 동공반응 패턴 비율은 통계적으로 유의한 차이가 나타났다. 반면 과제복합성 상 구간에서는 집단 간 차이가 유의하지 않았으나 하 구간에서는 집단 간 차이가 유의하게 나타났다. 둘째, 과제복합성 수준에 따른 동공반응 패턴 비율에 차이가 있는지 확인하였다. 전체 집단에서 과제복합성 상∙하 구간별 동공반응 패턴 비율을 확인한 결과, 유의한 차이가 없었다. 사전지식 집단별로 과제복합성 상∙하 구간에서 나타난 동공반응 패턴 비율에도 유의한 차이가 없었다. 영상2에서의 검증 결과는 다음과 같다. 첫째, 사전지식 수준에 따라 동공반응 패턴 비율 차이를 확인한 결과, 전체 구간에서의 사전지식 상∙하 집단 간 동공반응 패턴 분포에는 통계적으로 유의한 차이가 있었다. 반면 과제복합성 상 구간에서는 집단 간 차이가 유의하였으나, 하 구간에서는 유의하지 않았다. 둘째, 과제복합성 수준에 따른 동공반응 패턴 비율에 차이가 있는지 검증하였다. 전체 집단에서 과제복합성 상∙하 구간별 동공반응 패턴 비율을 확인한 결과, 유의한 차이가 있었다. 반면 사전지식 집단별로 과제복합성 상∙하 구간에서 나타난 동공반응 패턴 비율에는 유의한 차이가 없었다. 이러한 결과는 학습 대구간에서의 결과와 대조적으로, 보다 세밀한 분석 단위에서 다차원의 인과 요인을 여러 방향으로 함께 검증하였을 때 상이한 결과가 나올 수 있다는 점을 시사하였다. 동공반응 패턴의 분포 측면에서 봤을 때, 학습 과정에서 학습자가 경험하는 인지부하의 양상은 사전지식 수준과 과제복합성 수준에 따라 다르게 나타났다. 이를 패턴의 등장 비율과 양상의 특이성의 측면에서 살펴보았다. 먼저 영상1에서는 전체 집단에서 가장 많이 등장하는 패턴 7이, 사전지식 수준으로만 비교해보았을 때는 집단 간 차이가 크지 않았지만 과제복합성 상∙하 구간에 따라서는 집단 간 차이가 크게 나타났다. 특히 과제복합성 상 구간에서는 사전지식 상 집단이 하 집단에 비해 동공반응이 상승하는 패턴 7이 훨씬 두드러져, 상 집단이 하 집단에 비해 증가하는 과제복합성 수준에 대해 더욱 민감하게 반응하고 있음을 알 수 있었다. 영상2에서는 동공반응이 가장 급격히 증가하는 패턴 7이 전체 집단에서 가장 적게 나타났지만, 1회를 제외하고는 모두 과제복합성 상 구간에서 등장하였다. 이는 과제복합성이 높은 학습 구간에서 학습자의 인지부하가 급격히 증가하는 상황이 여러 번 발생하였음을 의미한다. 본 연구는 다음과 같은 의의를 가진다. 첫째, 실제적인 학습 맥락에서 수집한 연속적인 생리심리반응을 통해 학습자의 내적 과정을 탐구하였다. 둘째, 인지부하의 다차원적 인과 요인을 고려하여 동공반응으로 나타난 인지부하의 세부 속성을 파악하였다. 셋째, 시계열 군집화를 활용하여 인지부하의 패턴을 파악할 수 있는 방법론적 기초를 제공하였다. 마지막으로, 본 연구의 제한점에 따른 후속연구 방향은 다음과 같다. 첫째, 학습자 인지부하의 개인 간-개인 내 차이를 보다 잘 포착할 수 있는 다양한 시계열 분석 기법의 활용이 필요하다. 둘째, 인지부하를 다면적으로 이해하기 위한 다중수단 접근이 필요하다. 셋째, 인지부하를 최적화하여 교수-학습 환경을 개선하기 위해서는 인지부하의 유형을 구분할 수 있는 후속연구가 필요하다.