동영상 기반 학습 환경에서 학습자의 시각행동에 의한 입체적 학습과정 분석 및 학습성과 예측모형 개발

Abstract

인간의 몸은 대상에 대한 지각과 상호작용을 가능하게 하는 조건이며, 마음과 신체가 통합된 의지적 구조이자 움직임의 잠재성이다(Husserl, 1970). 따라서 학습자의 몸은 주관적 학습 사건이 일어나는 심리적 공간이자 학습 객체와의 상호작용을 구성하는 경험의 기관이다. 그 중에서도 시지각은 끊임없는 움직임을 통해 지각 대상의 연속적인 이미지를 만들어내는 운동으로서, 세상과 공명하며 학습 경험을 구성하는 몸의 중추적 행위이다. 인간은 ‘이리저리 돌릴 수 있는 머리’에 달린 ‘움직일 수 있는 눈’을 통해 세상을 본다(Gibson, 1966). 눈을 뜨고 있는 관찰자는 수용기에 부과되는 자극들을 수동적으로 기다리지 않고 그것들을 ‘경계’하고 ‘찾는다’. 즉 ‘본다’는 것은 물리적 대상에 대한 개별 감각수용기의 수동적 자극 입력이 아니라, 세상과 상호작용하기 위한 유기체의 적극적인 정보 탐색 활동이다. 따라서 인간의 시각행동은 외부의 자극에 대한 수동적인 정보 처리 과정이 아니라, 필요한 정보를 획득하기 위해 의식적무의식적으로 세상을 지향하는 ‘마음의 움직임’이라고 볼 수 있다. 동영상은 연속적 시간 개념을 지닌 동적(dynamic) 학습 매체로, 시각 자료와 교수자의 음성이 동기화된(synchronized) 상태에서 특정 시간 동안 연속적으로 재생되는 시청각 자극물이다. 초기 데스크탑과 랩탑 기반의 이러닝 형태로 보급되었던 동영상 학습 콘텐츠는 스마트폰과 태블릿 PC 등 모바일 기기의 보편화로 인해 언제 어디서나 학습할 수 있는 주요 학습 자원으로 자리매김하였다. 이러한 기술적 조건과 더불어 OCW(Open Course Ware), OER(Open Educational Resources), MOOCs(Massive Open Online Courses), YouTube 등 개방형 학습 모델의 등장은 동영상 기반 학습의 양적 팽창과 질적 향상을 견인하였을 뿐 아니라, 웹 서버를 통한 다양한 유형의 학습 데이터의 확보를 용이하게 하였다. 이러한 동영상 학습 환경에서는 서로 다른 두 가지의 시간 개념이 존재한다. 하나는 동영상이 재생되는 물리적·선형적 시간이고, 다른 하나는 동영상을 시청하는 학습자의 행위에 의해 변형된 주관적·비선형적 시간이다. 전자의 시간은 동영상 콘텐츠에서 기인하는 상수(constant)적 시간이라면, 후자의 시간은 동영상 콘텐츠와 학습자 간 상호작용으로 인한 변수(variable)적 시간이다. 본 연구의 핵심 개념인 ‘입체적 학습’이란, 학습자가 교수자의 설명이 진행되고 있는 내용 영역 이외의 다른 영역에 시선을 고정하며 경험하는 주관적이고 비선형적인 학습 과정을 의미한다. 동영상 학습 환경에서는 학습자가 물리적으로 동일한 정도로 영상에 노출되더라도, 콘텐츠의 ‘어디를’, ‘어떻게’ 응시하는가에 따라 질적으로 다른 학습 과정을 경험한다. 따라서 본 연구에서는 동영상과 시각행동의 일치성 및 시간성에 따른 인지부하의 차이를 탐색하여 학습자의 시각행동으로 구현되는 입체적 학습 과정을 실증적으로 규명하고자 한다. 본 연구의 목표는 다음과 같다. 첫째, 동영상 학습 과정에서 관찰되는 학습자의 시각행동을 추적하여 입체적 학습 과정을 경험적으로 규명한다. 둘째, 시선고정이 일어난 위치 정보를 활용하여 학습자의 인지부하와 주의집중을 나타내는 시각행동 지표를 탐색한다. 셋째, 사전지식 집단별로 학습자의 시각행동을 활용한 학습성과 예측모형을 개발한다. 이는 생리심리반응 기반의 학습 과정 분석 방법을 제안하고, 학습 성과 예측을 통해 학습의 최적화를 위한 처방 전략을 도출하기 위함이다. 이에 따른 연구 문제는 다음과 같다. 연구 문제 1. 동영상-시각행동의 일치성에 의한 인지부하에 차이가 있는가? 연구 문제 1-1. 일치/불일치 조건에서 동공 확장에 차이가 있는가? 연구 문제 1-2. 일치/불일치 조건에서 시선고정 지속시간에 차이가 있는가? 연구 문제 2. 동영상-시각행동의 시간성에 의한 인지부하에 차이가 있는가? 연구 문제 2-1. 과거/현재/미래 조건에서 동공 확장에 차이가 있는가? 연구 문제 2-2. 과거/현재/미래 조건에서 시선고정 지속시간에 차이가 있는가? 연구 문제 3. 성별과 사전지식 수준, 시각행동이 학습성과를 예측하는가? 연구 문제 3-1. 성별과 사전지식 수준, 시각행동이 전체 집단의 학습성과를 예측하는가? 연구 문제 3-2. 성별과 사전지식 수준, 시각행동이 사전지식 상·하 집단의 학습성과를 예측하는가? 연구 결과와 그에 대한 논의는 다음과 같다. 연구 문제 1과 관련하여 동영상-시각행동의 일치성 조건에서 MPD와 MFD의 평균 차이가 유의한지 살펴보기 위해 윌콕슨 부호 순위 기법으로 검증한 결과, 두 지표 모두 ‘일치-불일치’ 조건에서 유의한 차이가 있었다. 먼저 MPD는 교수자가 설명하고 있는 영역에 학습자의 시선고정이 일어났을 때(‘일치’ 조건)에 비해, 그 이외의 영역에 시선고정이 일어났을 때(‘불일치’ 조건) 유의하게 더 높았다. MFD는 MPD와 반대로, 교수자가 설명하고 있는 영역에 학습자의 시선고정이 일어났을 때(‘일치’ 조건)에 비해, 그 이외의 영역에 시선고정이 일어났을 때(‘불일치’ 조건) 유의하게 더 짧았다. 다음으로 연구 문제 2와 관련하여 동영상-시각행동의 시간성에 따른 MPD/MFD 차이를 Kruskal-Wallis test로 검증한 결과, 두 지표 모두 ‘과거-현재-미래’ 세 조건에서 유의한 차이가 있었다. 먼저 MPD는 ‘미래’ 조건에서 가장 크고, ‘현재’ 조건에서 가장 작았으며, ‘ ‘과거’ 영역에서 중간이었다. 사후검정 결과 MPD는 ‘현재-미래’ 조건 간 유의한 차이가 있는 것으로 나타났다. MFD 또한 앞서 일치성을 기준으로 검증했던 것과 일관된 방향의 결과가 나타났다. MFD는 ‘미래’ 조건에서 가장 짧고, ‘현재’ 조건에서 가장 길었으며, ‘과거’ 영역에서 중간이었다. 사후검정 결과 MFD는 ‘과거-미래’와 ‘현재-미래’ 조건 간 유의한 차이가 있었다. 연구 문제 1,2의 분석 결과를 종합하면 다음과 같다. 일치성과 시간성 조건에서 평균 동공 확장과 시선고정 지속시간의 차이를 검정했을 때 1) MPD와 MFD는 정보 간섭으로 인한 외재적 인지부하의 차이와 2) 과제복합도에 의한 내재적 인지부하의 차이를 반영하며, 3) 정보 간섭 및 과제복합도의 방향이 충돌할 경우 외재적-내재적 인지부하가 상쇄되는 것으로 나타나, 인지부하의 지표변수로서 타당함이 확인되었다. 마지막으로 연구 문제 3과 관련하여 학습성과 예측모형을 개발하였다. 먼저 전체 집단을 대상으로 다중회귀분석을 실시한 결과, 성별과 사전시험 점수만을 투입한 통제모형과 시각행동 변수를 추가 투입한 실험모형 모두 통계적으로 유의한 것으로 나타났다. 학습성과에 대한 설명력은 통제모형이 40%, 실험모형이 48%였다. 이에 따르면 사전지식 수준이 높을수록, ‘과거’ 영역에 대한 시선고정이 평균적으로 오래 지속될수록, 시선 변동이 적을수록 높은 학습성과가 예측되었다. 다음으로 사전지식 상·하 집단을 나누어 학습성과 예측모형을 생성한 결과, 학습자의 사전지식 수준에 따라 학습성과를 예측하는 변수가 달라짐을 확인하였다. 이는 학습자의 학습 성과를 예측할 때 학습자 특성에 따라 각기 다른 예측모형을 수립해야 할 필요성을 시사한다. 먼저 사전지식 상(上) 집단을 대상으로 학습성과 예측모형을 개발한 결과, 통제모형에 비해 실험모형의 설명력이 8%에서 23%로 높아졌으나 두 회귀모형 모두 통계적으로 유의하지 않은 것으로 나타났다. 그러나 실험모형에서 시선도약의 진폭을 뜻하는 TSA가 유의한 설명변수로 채택되어, 전체 집단 모형과 마찬가지로 시선의 변동이 클수록 낮은 학습성과가 예측되었다. 사전지식 하(下) 집단의 경우, 통제모형에 비해 실험모형의 설명력이 30%에서 52%로 높아졌으며, 수정결정계수를 적용하더라도 예측력이 크게 향상되었다. 더불어 값이 낮을수록 예측모형의 좋은 품질을 나타내는 지표인 AIC(Akaike Information Criteria) 또한 통제모형에 비해 실험모형이 낮아, 실험모형이 학습성과를 보다 우수하게 예측하는 회귀모형으로 나타났다. 이에 따르면 사전지식 수준이 높을수록, ‘과거’ 영역에 대한 시선고정이 오래 지속될수록, ‘미래’ 영역에 대한 시선고정의 지속시간이 짧을수록, 시선도약으로 인한 시선의 변동이 적을수록 높은 학습성과가 예측되었다. 연구 결과를 종합해보면, 전반적으로 사전시험 점수와 ‘과거’ 영역에 대한 주의집중 지속시간은 학습성과를 정적으로 예측하는 반면, 시선도약으로 인한 시선의 변동은 학습성과를 부적으로 예측하는 것으로 나타났다. 이는 이전의 학습내용에 주의를 기울이는 시각행동이 기존의 인지구조와 새로운 정보를 연결시키는 유의미 학습과 본유적 인지부하를 암시하는 예측변수임을 뜻한다. 즉, 교수자의 현재 설명만을 따라가는 학습자보다, 과거의 학습내용에 주의를 분산하며 현재와 과거의 학습내용을 번갈아가며 처리한 학습자들이 보다 높은 인지부하를 경험하는 동시에 보다 높은 학습성과를 나타냈으므로, 이는 학습에 이로운 본유적 인지부하가 발생한 것으로 해석할 수 있다. 사전지식 상·하 집단을 비교하면, 사전지식 상(上) 집단의 예측모형에서는 ‘미래’ 영역에 대한 시선고정 지속시간이 학습성과를 예측하는 설명변수로 채택되지 않았으나, 사전지식 하(下) 집단에서는 ‘미래’ 영역에 대한 시선고정 지속시간이 길수록 낮은 학습성과를 보이는 것으로 나타났다. 이는 사전지식 하(下) 집단이 상(上) 집단에 비해 동일한 과제에 대해 보다 높은 내재적 인지부하를 경험하므로, 학습자의 사전지식 수준이 낮은 경우 과제복합도가 높은 학습내용에 대한 주의집중이 오래 지속될수록 학습성과에 부정적인 영향을 받는 것으로 해석된다. 연구 문제 3의 분석 결과를 종합하면, 학습 과정에서 수집한 시각행동 변수를 학습성과의 예측변수로 투입했을 때 1) 전체 집단과 사전지식 하 집단에서 실험모형이 유의했고, 2) 통제모형에 비해 예측력과 품질 또한 우수했으며, 3) 모든 집단에 대해서 하나 이상의 시각행동 변수가 학습성과를 유의하게 예측하는 설명 변수로 채택되었다. 예측모형 개발을 통한 핵심 연구 성과는 다음과 같다. 첫째, 전체집단과 사전지식 하(下) 집단에서 ‘과거’ 학습 내용에 대한 주의집중 지속시간이 길수록 높은 학습성과가 나타났다. 이는 학습자의 시각행동을 통해 기존의 스키마와 새로운 정보를 연결시키는 유의미 학습 과정을 판별할 수 있음을 시사한다. 더불어 인지부하의 하위 유형 중에서 실증적인 규명이 가장 어려웠던 본유적 인지부하 또한 시각행동을 통해 밝힐 수 있었다. 둘째, 사전지식 하(下) 집단의 경우 ‘미래’ 영역에 대한 시선고정 지속시간이 길수록 낮은 학습성과가 예측되었다. 이는 사전지식 수준이 낮은 학습자들이 과제복합도가 높은 학습내용에 시선을 오래 머무르게 되면 높은 내재적 부하를 경험하여 ‘인지과부하’가 발생할 수 있음을 의미한다. 셋째, 시선도약의 진폭은 전체 집단과 사전지식 상·하 집단 모두에서 학습성과를 부적으로 예측하는 설명변수로 나타났다. 이를 통해 학습 과정에서 측정된 시선 변동 정도는 학습분석학적 의사결정을 지원할 수 있는 증거 변수로서, 위험군 판별 및 중도 개입을 위한 주요 지표임을 밝혔다. 본 연구는 다음과 같은 의의와 시사점을 지닌다. 첫째, 이론적 측면이다. 본 연구는 학습 경험이 개별적이고 주관적이며 역동적으로 변화하는 과정이라는 상식적인 논의를 경험적으로 증명하여, 학습의 최적화를 위한 학습분석학의 필요성을 시사하였다. 또한 입체적 학습이라는 새로운 개념을 제안하여 학습자의 시각행동을 유의미 학습 및 인지부하 개념과 연결하였으며, 생리심리반응을 통해 학습자의 인지적·심리적 상태를 진단하고 이를 학습성과를 예측하는 데까지 활용하였다. 이는 학습의 개별화와 적응적 교수설계를 위한 통합 모형을 제안한 것이라는 점에서 의의가 있다. 둘째, 방법론적 측면이다. 본 연구에서는 개별 학습자의 입체적 학습 과정을 실증적으로 파악하기 위한 분석 방법론을 개발하였다. 이에 따라 동영상-시각행동의 일치성과 시간성이라는 개념을 제안하고, 동영상 학습 환경에서 학습자가 경험하는 인지부하를 탐색할 수 있는 시각행동 변수를 발견하였다. 또한 R 통계 프로그램의 다양한 시각화 및 분석 패키지를 활용하여, 학습 대시보드와 같이 학습 행동의 시각화가 중요한 요소인 교육공학 분야에서 활용될 수 있는 자동화된 시각화·분석 기법을 개발하고 그 필요성을 시사하였다. 셋째, 실용적 측면이다. 본 연구에서 활용한 시각행동 데이터는 Tobii 社의 시선 추적 기술을 통해 수집한 것으로, 고가의 고정형 시선 추적 장비와 별도의 소프트웨어를 필요로 한다. 그러나 최근에는 휴대폰과 노트북, 태블릿 PC와 같은 모바일 기기의 내장 카메라로 사용자의 시각행동을 수집하는 간편한 소프트웨어가 개발되고 있다. 지속적으로 증가하고 있는 동영상 학습 환경과 이를 추적할 수 있는 측정 기술의 발달이라는 두 가지 변화는, 학습자의 시각행동을 추적하는 연구가 더 이상 ‘실험실’ 상황에 제한되지 않음을 의미한다. 따라서 본 연구는 학습과 수행이 일어나는 대부분의 현실 맥락에 적용될 수 있는 분석과 처방의 기초를 제공한다는 점에서 활용도가 높다. 본 연구의 제한점과 후속 연구를 위한 제언은 다음과 같다. 첫째, 개별 학습자의 시각행동 양상을 심층적으로 탐구하지 못하였다. 본 연구에서 지향하는 학습의 최적화를 달성하기 위해서는 다수의 학습자에게 보편적으로 적용될 수 있는 통계적 분석-예측모형을 수립하는 것뿐만 아니라, 개별 학습자의 독특한 학습 행동을 탐지하여 맞춤형 처방을 제공할 수 있는 질적 분석이 요구된다. 둘째, 본 연구에서는 시각행동의 일치성과 시간성 개념만을 가지고 인지부하의 차이를 검증했으나, 성별, 전공 계열, 사전지식 등 학습자 특성 요인을 결합하여 시각행동과의 상호작용을 탐구할 필요가 있다. 셋째, 멀티모달(multimodal)적 접근이 필요하다. 본 연구에서는 시선 추적기를 통해 수집된 데이터만을 활용하였으나, 뇌파와 심박과 같은 다른 생리심리반응 및 설문 데이터와 결합하여 학습자의 인지적·심리적 상태에 대한 해석을 보다 심층적으로 시도할 필요가 있다. 이는 분석-예측모형의 퍼포먼스를 증가시키기 위한 데이터 확보의 목적도 있지만, 보다 중요하게는 서로 다른 데이터의 비교를 통해, 개별 데이터에서 관측된 현상에 대한 해석의 질적 향상을 도모할 수 있기 때문이다.;The human body is a condition that enables perception and interaction with the object, and the potential for movement (Husserl, 1970). Therefore, the learner's body is an organ of experience where subjective learning events occur. Among them, visual perception is the central act of the body that resonates with the world, producing a continuous image of objects through constant movement. Human beings see the world through 'movable eyes' on 'heads that can be turned around' (Gibson, 1966). The observers who open their eyes do not passively wait for stimuli to be imposed on the receptors, but 'seek' and 'find' them. In other words, visual behavior is not a process of passive information processing of external stimuli, but rather a 'movement of mind' which consciously or unconsciously turn towards the world to acquire necessary information. A learning video is a dynamic learning material with a continuous time concept. It is an audiovisual stimulus that is played consecutively for a certain period of time while the visual information and the instructor's voice are synchronized. Video learning contents, which was initially spread in e-learning format, became a major learning resource that can be accessed anytime and anywhere due to the universalization of mobile devices. In addition to these technical conditions, the emergence of open learning models such as OCW (Open Course Ware), OER (Open Educational Resources), MOOCs (Massive Open Online Courses) and YouTube not only led to the quantitative expansion but also quality improvement of video-based learning environment and facilitated the acquisition of various types of learning data through the Web server. In this video-based learning environment, there are two different time concepts. One is the linear time in which the video is physically played, and the other is the subjective and non-linear time that is transformed by the learner's viewing act. Whereas the former is a constant time resulting from the video content itself, the latter is a variable time due to the interaction between the video content and the learner. The main concept of this study is 'non-linear learning', which refers to subjective and generative learning process in which the learner fixates their eyes on areas outside of where the instructor's explanation is proceeding. In other words, the learner experiences qualitatively different learning process depending on 'where' and 'how' they see video. This study tried to investigate the difference of cognitive load according to the congruency and temporality of video - visual behaviors and develop a prediction model of academic achievement based on visual behavior of learners. The goals of this study are as follows. First, the learner's visual behavior was traced to empirically identify the non-linear learning process. Second, the visual behavior indicating the learner's cognitive load and concentration of attention was explored using the location information of fixation. Third, the learning outcome prediction model was developed using learner’s visual behaviors for each prior knowledge level group. This study proposed analysis method based on psycho-physiological reaction to optimize learning and derive empirical evidence of teaching - learning prescription through prediction of learning outcomes. The study addressed the following research questions: Research Question 1. Is there a difference in cognitive load due to the congruency of video-visual behavior? Research Question 1-1. Is there a difference in pupil dilation between congruent and incongruent conditions? Research Question 1-2. Is there a difference in fixation duration between congruent and incongruent conditions? Research Question 2. Is there a difference in cognitive load due to the temporality of video-visual behavior? Research Question 2-1. Is there a difference in pupil dilation between past, present and future conditions? Research Question 2-2. Is there a difference in fixation duration between past, present and future conditions? Research Question 3. Does gender, prior knowledge level, and visual behavior predict learning outcomes? Research Question 3-1. Does gender, prior knowledge level, and visual behavior predict the learning outcomes of the whole group? Research Question 3-2. Does gender, prior knowledge level, and visual behavior predict the learning outcomes of prior knowledge groups? The results of this study are as follows: First, in relation to Research Question 1, the Wilcoxon signed rank test was used to examine the difference of MPD / MFD according to the congruency of video - visual behaviors. There was a significant difference in 'congruent-incongruent' condition of both indicators. First, the MPD was significantly higher when gaze fixation occurs in the other area ('incongruent' condition) than when the learner's gaze was fixed to the area described by the instructor ('congruent' condition). In contrast to MPD, the MFD is shorter when the fixation occurs in other areas ('incongruent' condition) than when gaze fixation occurs in the area described by the instructor ('congruent' condition). In relation to Research Question 2, the Kruskal-Wallis test was used to examine the difference of MPD / MFD according to the temporality of the video - visual behavior. As a result, there were significant differences in the 'past-present-future' conditions of both indicators. First, MPD was reported to be the largest in the 'future' condition, second largest in the 'past', and the smallest in the 'present'. Post-hoc test results showed that MPD had a significant difference between 'present - future' conditions. MFD was also consistent with what was previously verified by congruency condition. The MFD was the shortest in the 'future' condition, the longest in the 'present' condition, and the middle in the 'past'. Post-hoc test results showed that MFD had a significant difference between 'past- future' and 'present-future' conditions. The analysis results of research question 1 and 2 are summarized as follows. 1) MPD and MFD reflect the differences in extraneous cognitive load due to information interference, as well as 2) the differences in intrinsic cognitive load due to task complexity. 3) When the directions of information interference and task complexity are in conflict, extraneous - intrinsic cognitive load offset one another, therefore MPD and MFD are confirmed as valid indicator of cognitive load. Finally, in relation to Research Question 3, a prediction models of learning outcome were developed. As a result of multiple regression analysis for the whole group, both control model including the pretest score and gender and the experimental model with the additional inclusion of the visual behavior data were statistically significant. The explanatory power of the learning outcomes was 40% in the control model and 48% in the experimental model. According to this, the higher the level of prior knowledge, the longer the gaze fixation for the 'past' area, and the less the gaze changes, the higher the learning outcome was to be. As a result of multiple regression analysis for each prior-knowledge group, it was confirmed that the variables that predict the learning outcomes vary according to the learner's prior knowledge level. This suggests the necessity of establishing different prediction models according to learner characteristics when predicting learning outcomes. In the prediction model of high prior-knowledge(HPK) group, the explanatory power of the experimental model increased from 8% to 23% compared to the control model. However, both of the regression models did not show statistical significance. However, in the experimental model, TSA(total saccadic amplitude) was adopted as a significant explanatory variable. In the prediction model of low prior-knowledge(LPK) group, the explanatory power of the experimental model increased from 30% to 52% compared to the control model. In addition, AIC(Akaike Information Criteria), an indicator of quality of prediction models, shows the experimental model is a better regression model. According to this, the higher level of prior knowledge, the longer the duration of gaze fixation for the 'past' area, the shorter the duration of gaze fixation for the 'future' area, the smaller the gaze change, then the higher the learning outcome was to be predicted. Overall, the pretest score and the fixation duration for the 'past' area positively predicted the learning outcomes, whereas the saccadic amplitude predicts the learning outcomes negatively. This means that the visual behavior that distributes attention to the previous learning contents is a predictive variable that implies germane cognitive load and meaningful learning which connects existing cognitive structure with new information. In other words, the learner, who is distributing their attention to the past learning contents experiences a higher cognitive load and shows higher learning performance than the learner who follows only the present explanation of the instructor, so this can be interpreted as the occurrence of a germane cognitive load that is beneficial to learning. Comparing the HPK group with the LPK group, the fixation duration for the 'future' area was not adopted as an explanatory variable for predicting the learning outcome in the prediction model of the HPK group. However, in the LPK group, The longer the fixation duration for the 'future' area, the lower the learning performance. This is because the LPK group experiences higher intrinsic cognitive load for the same task than the HPK group. Therefore, if the learner's prior knowledge level is low, it is interpreted that the long-lasting attention to the learning contents with a high complexity of the tasks negatively affects the learning outcomes. The results of the Research Question 3 are summarized as follow: 1) The experimental model was significant in the whole group and the LPK group, 2) the predictive power and quality of the experimental model was higher than the control model, and 3) one or more visual behavior variables were used as significant explanatory variables to predict learning outcomes. The core research results through the development of prediction model are as below. First, the longer the fixation duration for the 'past' learning contents in the whole group and the LPK group, the higher the learning performance was predicted. This suggests that visual behavior is the clue of the meaningful learning that connects the schema with new information. In addition, it implies that germane cognitive load, which is the most difficult load type to empirically identify, can be revealed through visual behavior. Second, in the LPK group, the longer the fixation duration for the 'future' area, the lower the learning performance was predicted. This means that learners with low prior knowledge level may experience high intrinsic load and cause 'cognitive overload' if their attention duration to the learning contents with high complexity is too long. Third, the saccadic amplitude was the major explanatory variable negatively predicting the learning outcomes in the whole group, the HPK group, and the LPK group. The results show that the degree of eye movement measured in the learning process is a key parameter for discrimination of risky group and intervention as evidence variable to support decision making in teaching and learning contexts. The implications of this study are as follows: First, theoretical aspect. This study empirically proves the common sense that learning experiences are individual, subjective, and dynamic process suggesting the need for learning optimization through leaning analytics. In addition, by proposing the concept of non-linear learning, it sought out to make a connection for a visual behavior with meaningful learning and cognitive load theory, also furthering the research result to diagnose learner’s cognitive and psychological states and predict their learning outcome. This is significant because it suggests an integrated analysis-prediction model for individualized learning and adaptive instructional design. Second, methodological aspect. In this study, an analytical methodology was developed to empirically identify non-linear learning process of individual learners. Therefore, the concept of congruency and temporality of video - visual behavior were proposed, and an automated visualization and analysis technique was developed using various visualization and analysis packages of the R program. Third, practical aspects. The visual behavior data used in this study is collected through Tobii's eye-tracking technology that requires expensive equipment and additional software. In recent years, however, simple softwares have been developed that can collect user's eye movement data with the built-in camera of a mobile device such as a mobile phone, a notebook or a tablet PC. Two sociocultural changes, the increase of video learning environment and the development of measurement technology to track it, suggest that the research that tracks the learner's visual behavior is no longer limited to the "laboratory" situation. Therefore, this study is highly applicable in that it provides the basis for analysis and intervention that can be applied to the most realistic contexts where learning and performance occur. The limitations of this study and suggestions for future research are as follows: First, in this study, the visual behavior patterns of individual learners were not investigated in depth. To achieve the learning optimization aimed in this study, it is necessary not only to establish a statistical analysis-prediction model that can be universally applied to a large number of learners, but also a qualitative analysis for each individual learner is required. Second, in this study, we examined the difference of cognitive load with only the concept of congruency and temporality of video - visual behavior. However, it is necessary to investigate interaction with visual behavior and learner characteristics such as sex, major, and the level of prior knowledge. Third, a multimodal approach is needed. In this study, only the data collected by the eye-tracker was used, but it is necessary to triangulate the learner's cognitive and psychological state through other psycho-physiological responses such as EEG, HRV and questionnaire data. This is because it has the advantage of securing data to increase the performance of the analysis-prediction model, but more importantly, it can improve the quality of the interpretation of phenomena observed in each data through multimodal approach.