동영상 학습환경에서 시각 행동, 학습 몰입, 학업 성취의 관계

Abstract

Today we are living in a society expressed by 'hyper-connected society', 'network society' (National IT Industry Promotion Agency 2013) meaning that everything is connected. The space in which learning takes place is not limited to a physical space where a teacher and a student meet face-to-face; environments allowing using a personal device regardless of time and space have been created (Garrison, 2011). Online learning grows fast along with the development of information technology; it is being used for school education. Moreover, it is actively being processed by industrial sites due to its distinctive advantages regarding costs and efficiency. Education courses called online education or e-learning are distributed to some leaners via the process of analysis, design and development based on instructional design models, not so different from planning offline education courses. In reality, unlike offline education, reactions of the learners are usually presumed exclusively from the information about satisfaction and achievement levels of the learners who used the online courses distributed once. Unilateral supply and reception prevail and the circular flow of the ADDIE Model which is the most representative instructional design model in the textbook. With these circumstances, as interest in big data is growing in the entire society, attempts to apply it to the fields of education are made. Learning analytics is an attempt to understand contexts in which learning takes place so as to optimize learning based on proper understanding of the contexts. It can be defined as an interdisciplinary study supporting decision-making concerned with teaching and learning based on evidence from data measurement, collection, analysis, and prediction after collecting data in the contexts of learning activities under learning environments mediated by technology (Jo, 2015). In the initial stage, learning analytics focused on the aspect of data analysis; however, recently the research flow and attention are being expanded into various research areas for diagnosis to connect personalizing and learning design, and designing tools supporting teachers beyond predictions through data analysis. Moreover, it is attempting to fuse with other academic fields, so target date for analysis is being expanded. For example, the eye is a sensory organ executing functions of collection visual information and delivers it to the brain. Relations between the eye and psychology are subjects in which various academic fields have had interest. In the field of education, the eye is regarded as a sensory receptor enabling selective perception and attention in accordance with information process theories and studies about designing effective visual media have been carried out. Cases using eye-tracking data using eye tracker to check gaze movements and pupil sizes are on the increase. The flow in learning context is studied as the similar concept of learning flow, cognitive absorption, immersion. It refers to a learner's best concentrating experience collecting all the psychology processes and activities into thinking by totally immersing into learning activities to solve learning tasks (Park & Kim, 2006). The Study investigate that the learning flow during the class can predict the learning achievement. Since this kind of learning flow is a psychological state felt by the individual and appears instantaneously, it is not easy to measure (Seok & Kang, 2007). This kind of flow has been mostly measured by a self-reporting method using a questionnaire. Recently, the field of physiological psychology using body data for objective measurement of such psychological state is being spotlighted. There has been a research for measuring focused attention based on a brain activity, a heart rate, a fixation rate, and a pupil response (Park 2011; Jung et al., 2011), not many researches have been performed in academic context. Therefore, the study aims to identify the relations between the visual behaviors that are considered a behavioral factor affecting achievements and physiological factors as learning flow Below are research questions for the objectives. Research question 1. What are the characteristics of the visual behavior that appears in the vide-based learning environment? Research question 2. In the video-based learning environment, do visual behaviors and learning flow during whole learning period predict a learner's academic achievements? Research question 3. In the video-based learning environment, do visual behaviors and learning flow during specific sections predict a learner's academic achievements? Research question 4. In the video-based learning environment, do visual behaviors and learning flow predict a learner's academic achievement differently in accordance with achievement groups? The participants of the study were total 61 students who were in the department of education of A University located in Seoul. The participants took part in the study through four steps which were preliminary test >video based learning > posttest>questionnaire. Their visual behaviors were collected by using an eye tracking device for the test. 14 of the subjects who participated in the video experiment were made to visit the venue for experiment again within 48 hours for the video stimulating interview. The experiment was carried out for fifteen days. After completing it, data extraction and preconditioning processes were implemented for analysis. Five types of variables that were fixation, saccade, pupil, zone in and distance were calculated after dividing them into the whole learning course, lecture type sections and sub-theme sections. Among them, for fixation, saccade and pupil variables, variables estimating frequencies at the peak interval after selecting intervals with frequencies over +1SD. Following are results and implications inferred in the study. First, empirical connecting links between some teaching behaviors and visual behaviors were confirmed as a result of checking the visual learning behaviors after extracting top 10% intervals recording high frequencies of each behavior (fixation and saccade) and major changes (the diameter of a pupil) per each visual behavior so as to understand characteristics of the visual behaviors in the video learning environment. Writing on the board and instructing a specific part of a learning material were the teaching behaviors which made frequent gaze fixations in the video learning environment. It can be interpreted that a signal of focus to real-time visual information was identified. And It implies that saccade which shows as a reaction to specific behaviors can be used as a gauge measuring levels of concentration on teaching in the video learning environment. External cognitive load or occurrence of unnecessary cognitive load occurred by types and methods of offering learning materials and reactions caused by negative emotional changes can be presumed by changes in pupillary reaction. The framework to interpret a learning psychological state through visual behaviors mentioned earlier can be employed in two aspects as below. First, it can be used when designing a lecture video. To give some examples, a lecturer can make a gesture in a part which needs extra attention of learners; they can plan to write something on the blackboard in the part when composing a lecture. It may also be referred to enhance the quality of a lecture by providing additional materials or improving teaching methods in accordance with a learner's psychological state expected from a pre-made lecture. Second, it can be used to set desirable visual behaviors expected at a specific interval on which evaluation on a learner's learning process and prediction on achievement can be made. For example, it is possible to monitor how long a learner fixed his or her gaze on a part requiring attention and to check on what level a teacher's instructive behavior synchronized with gaze leap. Any statistical analysis was not made in this study to find correlations between visual behaviors and teaching behaviors. They can be verified through further studies engaging sophisticated experiments. Secondly, The main purpose of the study was to predict academic achievement with visual behaviors and learning immersion. On various criteria, visual behavior data were explored, and attempts were made to convert them into variables. Above all, regarding visual behaviors, the whole period variable(1), lecture type variables(2), and sub-theme variables(6), after setting fixation, saccade, pupil diameter, zone in, and distance as major variables, were calculated to analyze correlations with learning immersion and learning achievement, and then variables having significant correlations were checked; however, no variables significantly affecting the learning achievement variable were found when they were run in the regression models. Next, correlations between learning flow and learning achievement were analyzed by calculating visual behavior values and frequency concerning peak intervals in which specific visual behaviors frequently take place; no significant effects were found in the regression model either. In this regard, as a result of analyses on each achievement group in specific intervals, pre-test and visual behaviors explained learning achievement variable by 32% and 20% respectively in the case of the high achievement group. Through such an analysis, it was confirmed that analysis of an entire learning section is not a good approach. As a section is divided into more sub-sections, meaningful correlations with academic achievement could be observed more often. Although a stable prediction model could not be established through such an exploratory analyzing process, it was meaningful to check necessary approaches for analyzing visual behavior data, that is, (1) setting temporal section, (2) setting spatial section, and (3) cluster analysis for each group. Thirdly, learning flow variable which was secondly to be tested in the study did not have a significant correlation to learning achievement. It is in contraction to the results of extant studies about learning flow (Harju & Eppler, 1997); below conditions may have caused such results. Most of all, possibly learning immersion enough to affect academic achievement did not generate while the test was being implemented. This research is an exploratory research for investigating relationships between visual behavior, learning flow and academic achievement. Although this research is discriminative for attempting to directly connect visual behavior to academic achievement in a video-based learning, no stable achievement prediction model could be figured out. Related to reasons thereof, some suggestions could be made for future research in terms of research design, measurement, and analysis. First, the study did not employ any stimulants designed for the test. It matched with factors which might cause visual behaviors under such conditions so as to check visual behaviors of research subjects in a type of general-purpose and natural classrooms. A suggestion to use stimulants designed to find what causes visual behaviors more clearly is offered for further studies which will verify the results of the study. Second, it is imperative to expand the realm of analysis by combining with other physiological psychology data besides visual behavior data. For example, the study had limitations in discerning what caused missing data, whether it was caused by drowsiness or mechanical errors. It would be possible to enhance preciseness in interpretation if such data as participants' brainwaves and facial expressions. Lastly, proper statistical methods should be explored for time series analysis. The quantity and quality of research problems depend on how proficiently a researcher can handle data because learning analysis studies are based on data. A suggestion to attempt various analyses was made to avoid not finding a signal distracted by noise due to insufficient technology, from the preconditioning process of a large amount of data to data analyses.;오늘날 우리는 모든 것이 연결되어 있다는 의미의 'hyper-connected society', 'networked society'(정보통신산업진흥원, 2013)로 표현되는 사회에 살고 있다. 학습이 일어나는 공간도 교수자와 학습자가 면대면으로 마주하는 물리적 공간에만 국한되지 않으며, 언제 어디서나 본인이 소유한 디바이스를 가지고 학습할 수 있는 환경이 조성되었다(Garrison, 2011). 온라인을 통한 학습은 정보 기술의 발달과 함께 빠르게 성장하여, 학교 교육에서 활용될뿐 아니라, 비용 효율적 장점을 부각하여 산업 현장에서도 활발하게 진행되고 있다. 온라인 교육, 흔히 이러닝이라 불리는 교육 과정들은 오프라인 교육 과정을 설계하듯이, 교수 설계 이론에 기반하여 분석, 설계, 개발의 과정을 거쳐 다수의 학습자에게 배포된다 (조미헌, 김민경, 김미량, 이옥화, & 허희옥, 2004). 오프라인 교육에 비해 온라인 교육은 한 번 배포된 이러닝 과정에 대한 학습자의 반응을 과정 전반에 대한 만족도와 학습자들의 성취도 결과에 대한 정보로만 짐작하게 되는 것이 현실이다. 교수 설계의 교과서적 모델인 ADDIE 모형의 순환적 흐름이 단절된, 공급자에 의한 일방적인 전달과 수용이 만연되어 있다고 할 수 있다. 이러한 현실적 여건 하에, 최근 사회 전반적으로 빅 데이터에 대한 관심이 증폭되면서, 교육 분야에도 이를 적용하고자 하는 시도가 이루어지고 있다. 이러한 시도와 맥을 함께 하는 학습분석학은 학습이 일어나는 맥락을 보다 잘 이해하여 학습을 최적화하려는 것으로, '테크놀로지가 매개하는 학습환경에서 일어나는 학습 행동과 맥락에서 발생하는 데이터를 측정, 수집, 분석, 예측하여, 증거에 기반한 교수학습적 의사결정을 지원하는 융합학문' 으로 정의할 수 있다(조일현, 2015). 초기의 학습분석학이 데이터 분석 측면에 중점을 두었다면, 최근에는 데이터 분석을 통한 예측에 그치지 않고, 개인화된 학습, 학습 설계와의 연계, 교수자 지원 도구 설계 등 처방을 위한 다양한 범위로 연구 흐름과 관심이 확장되고 있으며, 타학문과의 융합을 시도, 분석 대상으로 삼는 데이터 범주가 확장되고 있다. 그 예로, 눈의 움직임을 기록한 시각 행동 데이터를 들 수 있다. 눈은 시각 정보를 수집하여 뇌로 전달하는 기능을 수행하는 감각 기관 중 하나로, 눈과 심리의 관계는 여러 학문에서 관심을 가져온 주제이다. 심리학과 인지과학 분야에서 다양한 과제를 수행 시 정보 처리 과정을 분석하기 위하여 눈의 움직임을 연구해 왔으며, 최근에는 HCI 분야의 사용성 및 인터페이스 개선 연구, 마케팅 분야의 제품 및 홍보물에 대한 반응 연구 등 그 적용 범위가 확장되고 있는 추세이다. 눈은 정보처리이론에 따라 선택적 지각과 주의가 일어나게 하는 기관으로, 교육 분야에서 눈의 움직임에 대한 초기 연구는 주로 읽기와 인지 처리 과정과 관련하여 진행되어 왔으며(Rayner, 1998), 최근에는 효과적인 멀티미디어 설계를 위한 연구에 사용되고 있다(Mayer, 2010). 학습 상황에서 개인이 느끼는 감정이나 심리 상태를 나타내는 것 중에서 몰입은 몰입(flow), 참여(engagement), 인지적 참여(cognitive engagement), 인지적 몰입(Cognitive Absorption), 몰두(immersion) 등과 같은 개념으로 연구자의 관심영역에 따라 다양한 정의 하에 연구되어 왔다. 학습 몰입은 학습활동에 완전히 빠져들어 모든 정신과 활동을 하나의 생각으로 모으는 최상의 집중경험을 뜻하는 것으로(박성익 & 김연경, 2006), 학습 과정에서 경험하는 몰입은 학습을 즐겁게 느끼도록 하고, 높은 수준의 집중과 참여를 촉발시키는 심리적 기제로 활용되는 것으로 알려져 있다(Harju & Eppler, 1997). 또한 몰입은 학습에 대한 욕구를 높이고, 자발적이고 참여적 학습활동을 촉진시킴으로써 학습성취도를 향상시킬 수 있다고 여겨지고 있으며(Palloff & Pratt, 1999), 수업에서의 몰입 정도가 학업성취도를 예측할 수 있다는 결과들이 도출된 바 있다(박성익 & 김연경, 2006). 이러한 몰입은 개인이 느끼는 주관적인 심리 상태로 순간적으로 나타나는 것이므로 측정이 쉽지 않은데(석임복 & 강이철, 2007), 대부분 설문에 의한 자기보고식 방법으로 측정되어 왔다. 최근 이러한 심리 상태의 객관적 측정을 위하여 신체 데이터를 사용하는 생리심리학 분야가 부각되고 있다. 몰입은 주의 집중(focused attention)과 관련하여 뇌 활성도, 심박, 시선고정 비율, 동공 반응 등을 통해 측정하는 연구가 진행된 바 있으나(박정순, 2011; Jung et al., 2012), 학습 맥락에서 연구된 사례는 많지 않다. 따라서 본 연구에서는 객관적으로 측정 가능한 행동 요인인 시각 행동과, 주관적 심리 요인인 학습 몰입, 학업 성취와의 관계를 분석해 보고자 한다. 시각 행동으로 학습 과정의 객관적 이해 가능성을 확인한다면, 이는 설계자들에게 유용한 정보를 제공할 뿐 아니라, 학습자에게도 도움이 되는 피드백을 제공할 수 있을 것이라 기대한다. 본 연구에서의 연구문제는 다음과 같다. 연구문제 1. 동영상 학습환경에서 나타나는 시각 행동의 특징은 무엇인가? 연구문제 2. 동영상 학습환경에서 학습 전체 구간에서의 시각 행동과 학습 몰입은 학업 성취를 예측하는가? 연구문제 3. 동영상 학습환경에서 특정 구간에서의 시각 행동과 학습 몰입은 학업 성취를 예측하는가? 연구문제 4. 동영상 학습환경에서 특정 구간에서의 시각 행동과 학습 몰입은 성취 그룹에 따라 학업 성취를 다르게 예측하는가? 본 연구는 서울 소재 A 대학교 사범대학과 사회과학대학 학부생 총 61명을 대상으로 진행하였으며, 각 연구대상자는 사전 시험 > 동영상 학습 > 사후 시험 > 설문의 단계로 실험에 참여하였다. 실험에 참여하는 동안 아이트래킹 기기를 활용하여 연구대상자의 시각 행동을 수집하였다. 동영상 실험 참여자 중 14명은 회상자극 인터뷰를 위해 48시간 이내에 실험 장소에 한 번 더 방문하였다. 실험은 총 15일간 진행하였으며, 실험 종료 후에는 분석을 위한 데이터 추출과 전처리 과정을 거쳤다. 시선고정, 시선도약, 동공지름, 존 인, 거리의 다섯 종류의 변수를 학습 전체 구간, 강의 유형별 구간, 소주제별 구간으로 나누어 계산하였으며, 그 중 시선고정, 시선도약, 동공지름 변수는 1SD 이상 발생 빈도가 높은 피크 구간을 선정하여 피크 구간에서의 발생 빈도를 계산한 변수를 생성하였다. 연구를 통해 내린 결론 및 시사점은 다음과 같다. 첫째, 동영상 학습환경에서 시각 행동의 특징을 이해하고자, 각 시각 행동별로 높은 빈도(시선고정과 시선도약)와 큰 변화(동공지름)을 기록한 상위 10% 구간을 도출하여, 그 시각 교수 행동을 확인해본 결과 일부 교수 행동과 시각 행동 사이의 실증적인 연결 고리를 확인할 수 있었다. 시선고정이 빈번하게 나타난 구간에서 나타난 교수자 행동으로는 판서 또는 학습 자료의 특정 부분을 지시하는 것 등이 있었다. 학습환경에서 시선고정의 의미는 실시간으로 주어지는 시각 정보에 집중을 유지하고 있다는 신호로 해석할 수 있겠다. 다음으로 시선도약은 화면을 지시하거나 학습 자료가 전환될 때 빈번하게 나타났으며, 이는 교수자의 설명에 맞게 강의를 잘 따라가고 있거나, 집중의 전환이 일어났음을 의미한다고 할 수 있다. 이는 기존의 아이트래킹 연구가 시선도약 보다는 시선고정을 중점적으로 연구한 것과 다르게, 계속적으로 변화하는 멀티미디어 자극물을 주시해야하는 동영상 학습환경에서 달리 활용 가능한 안구 운동의 특성이라 할 수 있다. 동공크기의 경우 시선고정, 시선도약과 중복되지 않는 특성 중, 제시 자료로 인해 불필요한 외재적 인지부하가 발생했을 때 반응이 나타난 것을 발견할 수 있었다. 이상에서 언급한 시각 행동을 통한 학습자 심리 상태 해석의 프레임은 두 가지 측면에서 활용될 수 있다. 첫째, 강의 영상 설계 시에 적절히 활용할 수 있다. 학습자의 집중이 특히 요구되는 내용에서는 강의자가 제스처를 취한다거나, 판서를 하도록 구성하는 등의 예를 생각해볼 수 있다. 제작된 강의에 대한 예상되는 학습자 심리 상태에 따라, 추가적인 자료를 제시하거나, 교수 방법을 개선하는 등 강의 품질을 향상하는데에 참고할 수 있을 것이다. 둘째, 특정 시점, 특정 영역에 기대되는 바람직한 시각 행동을 설정해두고, 이를 기준으로 학습자의 학습 과정을 평가, 성취 예측에 활용할 수 있다. 집중이 필요한 부분에 학습자가 시선을 얼마나 고정했는지, 교수자의 지시 행동과 시선도약이 얼마나 일치했는지 등을 모니터링하는 것을 예로 들 수 있겠다. 둘째, 이 연구의 주요한 목적은 시각 행동과 학습 몰입으로 학업 성취를 예측하고자 함이었다. 우선 시각 행동에 대한 내용을 살펴보면, 시선고정, 시선도약, 동공지름, 존 인, 거리를 주요 변수로 설정하여, 구간 전체 변수(1개), 강의 유형별 변수(2개), 소주제별 변수(6개)로 계산하여 학습 몰입, 학업 성취와의 상관 관계를 분석하였으나, 회귀 모형에서 학업 성취에 유의한 영향을 미치는 시각 행동은 없었다. 다음으로 특정 시각 행동이 빈번하게 발생하는 피크 구간에서의 시각 행동 값과 빈도를 계산하여 상관 관계를 분석하였으나, 이 역시 회귀 모형에서 유의하게 드러나지는 않았다. 이에 특정 구간에서 성취 집단별로 분석을 실시해본 결과, 고성취 집단의 시선도약이 학업 성취를 20% 설명하는 것으로 확인되었다. 이러한 분석 과정을 통해 학습 전체 구간을 대상으로 분석하는 것이 좋은 접근이 아니라는 것을 확인하였으며, 구간을 세분화할수록 학업 성취와 유의한 상관을 보이는 경우가 많아지는 결과를 얻을 수 있었다. 이러한 탐색적 분석 과정을 통하여 안정된 예측 모형을 만들지는 못하였으나, 시각 행동 데이터 분석 시 필요한 접근, 즉 (1)시간적 구간 설정, (2) 공간적 영역 설정, (3) 집단별 군집 분석의 세 가지 방법을 확인하였다는 데에 의의를 갖는다. 셋째, 연구에서 확인하고자 한 학습 몰입은 학업 성취와 유의한 상관을 드러내지 않았다. 이는 기존의 학습 몰입에 대한 연구 결과와 일치하지 않는 결과로(Harju & Eppler, 1997), 이러한 결과가 나타난 원인으로는, 실험을 진행하는 동안 학업 성취에 영향을 미칠 정도로 충분한 학습 몰입이 발생하지 않았거나, 학습 몰입이 발생했다 하더라도 자기보고식 주관식 설문으로 이를 제대로 측정하지 못했을 가능성을 생각해볼 수 있다. 본 연구는 시각 행동과 학습 몰입, 학업 성취의 관계를 규명하고자 하는 탐색적 연구로, 동영상 학습환경에 시각 행동을 학업 성취와 직접 연결하려 했다는 점에서 연구의 차별성을 지니지만 안정된 성취 예측 모형을 밝혀내지는 못했다는 한계를 지닌다. 그 원인에 따라 연구 설계 측면, 측정 측면, 분석 측면에서 후속 연구를 위한 제언을 하고자 한다. 첫째, 본 연구에서는 실험을 위해 설계된 자극물을 사용하지 않았다. 범용적으로 사용되는 자연스러운 강의 동영상으로 연구대상자들의 시각 행동을 탐색해 보고자 의도한 것이며, 이러한 실험 조건 하에 시각 행동과 그의 원인이 될만한 자극 요인을 분석하였다. 향후에는 학습 과정에서 발생하는 시각 행동을 보다 인지 이론에 입각하여 이해하기 위하여, 교수설계 전략이 구간별로 구분되는 강의 영상을 연구에 사용할 것을 제안한다. 본 연구에서 확인한 교수 행동-시각 행동의 연결고리는 시각 행동을 주어진 자극에 대한 반응으로 간주한 것에 가까운 관점이라면, 학습자가 자극에 반응하는 수동적 존재가 아니라 능동적 학습자라는 전제 하에, 시각 행동 이면에 동반하는 인지 처리 과정을 아울러 이해하기 위해서는 실험을 위해 설계된 영상을 사용하는 것이 필수적이라 생각한다. 연구 결과는 객관적인 증거를 토대로, 학습 동영상 설계에 유의미한 시사점을 도출 할 수 있을 것이라 기대한다. 둘째, 시각 행동 데이터 외 다른 생리심리 데이터와의 결합을 통해 분석의 범위를 넓혀나가야 할 것이다. 예를 들어 이번 연구에서는 시각 데이터의 결측이 졸음에 의한 것인지 기기 상의 오류인지를 가려내는 데에 한계가 있었다. 연구대상자의 뇌파, 표정과 같은 데이터가 추가된다면 해석의 정확도가 향상될 것이라고 생각한다. 마지막으로 시계열 분석을 위해 적합한 통계 분석 기법을 탐색해야 할 것이다. 학습분석학 연구는 데이터에 기반한 연구로, 연구자가 데이터를 원하는대로 얼마나 능숙하게 다룰 수 있느냐에 따라 이후 연구 문제의 양과 질이 달라질 수 있다. 방대한 양의 데이터 전처리 과정부터 데이터 분석에 이르기까지 기술 부족으로 소음 속에 가려 있는 신호를 찾지 못하는 일이 생기지 않도록 다양한 분석을 시도할 것을 제안한다.