동영상 기반 학습 환경에서 시험불안, 행동 로그 및 생리심리반응을 통한 학업성취 예측모형 개발

Abstract

Recently, the form of online learning which allows people study anytime and anywhere with smart devices and video-based learning contents have increased(Moore & Kearsley, 2011). Providing proper intervention strategies based on instructors’ insight for learners’ motivation is essential because learners’ motivation impacts learning achievement as main component in online learning environment where face-to-face instruction by instructor is not existed. Motivation is one of the most crucial elements among individual variables in diverse learning environments and it decides the strength and persistence of learning(Wighting et al, 2008). Pintrich and DeGroot (1990) presented Test anxiety as critical factor which impacts learning among a wide scope of motivation domain theories. Due to the influence of test anxiety on overall learning activities as well as exact test time, instructors need to notice it in learning situation and reflect to educational intervention. This is because effective instructional treatment can be provided with considering learners’ mental states such as motivation, emotion, engagement and so on(Siegle, 2014; Wilson, 2013). Most studies usually utilized self-reported survey to measure the range of test anxiety and comprehend learners’ psychological construct. In offline learning environment, it is not hard to provide proper intervention in accordance with psychological construct understanding by survey and learning behavior since instructors could observe learners precisely. However, in online learning environment, instructors cannot watch changing learning behavior because learning occurs where instructors cannot monitor directly. Furthermore, it is difficult to grasp varying learners’ mental state by self-reported survey depending on memory. That is why there is need to utilize new data in shifted learning environment in order to understand transmutative learners’ psychological state and offer appropriate treatment by prediction of learning achievement. To measure high-dimensional learning psychology, instructors should analyze learners’ behavioral log data and psychophysiological response data syntagmatically. Therefore, this study tried to collect learners’ behavioral log, psychophysiological response, test anxiety survey and learning achievement data on video-based learning contents through experiment situation, analyze the relationships among them and examine the impact of those data on the learning achievement. The followings are the research question of this study. Research question 1. Learners’ behavioral log, psychophysiological response and test anxiety survey can predict learning achievement in video-based learning environment? Research question 2. Is there difference between high-achievement and low-achievement group in the prediction model which explained learning achievement by learners’ behavioral log, psychophysiological response and test anxiety survey in video-based learning environment? Research question 3. Is there gender difference in the prediction model which explained learning achievement by learners’ behavioral log, psychophysiological response and test anxiety survey in video-based learning environment? Participants in this study were 64 college students(32 for male, 32 for female) in Seoul, South Korea. The data which utilized in the research are 1) behavioral log(Total Pause Time, Total Repeat Time), 2) psychophysiological response(Heart rate for Movie, Heart rate for Exam), 3) Test Anxiety survey and 4) learning achievement. In the experiment, firstly participants watched video-based learning contents about basic statistics and then they took the exam measuring the range of understanding. They took exams for maximum three times by exam results and they responded test anxiety survey. In this research, statistical analysis program R was utilized to present descriptive statistics, correlation analysis and hierarchical regression analysis. With hierarchical regression analysis, demographic variables were controlled to examine the influence of behavioral log, psychophysiological response, and test anxiety survey on the learning achievement. Moreover, hierarchical regression analyses were additionally implemented to confirm the difference in the learning achievement prediction model by achievement clusters and gender difference. The results of the study are as follows. First of all, as a result of research question 1 to confirm whether learners’ behavioral log, psychophysiological response and test anxiety survey predict learning achievement data in video-based learning environment, the prediction power of behavioral log and psychophysiological response variables could be observed as significant in entire group prediction model. In the entire group leaning achievement prediction model, the shorter total repeat time, the lower heart rate for movie, the higher heart rate for exam represented the higher learning achievement. The entire group prediction model showed that test anxiety survey were failed to predict learning achievement. Learners can make full use of video-based learning contents with lots of liberty of time and space without instructors in online learning situation. It could make individual disparity in the extent and timing of test anxiety, but self-reported survey might be not adequate method to assimilate the divergence. On the contrary, with behavioral log and psychophysiological response, instructor can realize the reasons of changes in learners’ mental state as well as certain parts of learning contents which needed to be complemented, so this showed that it is essential to exploit those new data to catch learners’ psychological mechanism. Secondly, it was found that prediction variables were varied and the prediction models were differed between high- and low-achievement groups. In the case of high-achievement group, male learners had higher learning achievement than female learners. More follow-up studies with diversified subjects which not related math are needed because there were many researches showed that male students had high learning achievement than female in general. In low-achievement group, the learners who were not majored in humanities, had experience of statistical courses showed higher achievement and the shorter of total repeat time significantly predict learning achievement. This means prerequisite knowledge played substantial role on the outcome in low-achievement group and they could not handle repeat time of playing learning contents meaningfully for improvement. Lastly, different prediction models by gender were presented with development, comparison and analysis of learning achievement prediction models. In the hierarchical regression model for male, heart rate variables of psychophysiological response predicted learning achievement significantly whereas in the female, only the experience of statistical course predicted. Thus, male participants showed more sensitive psychophysiological response than female for predicting learning achievement. More abundant researches are necessary about interpreting psychophysiological response data because the data might have gender difference naturally. Based on these results, this research had limitations and suggestions for follow-up studies. Foremost, this study could not perfectly reflect online learning environment because it was worked in the experiment situation at certain experimental room with instructor despite of utilizing video-based learning contents. For follow-up study, both collecting various behavioral log in real online learning environment based on LMS and analyzing psychophysiological response data with them should be performed. Secondly, psychophysiological response was only limited in heart rate. It is needed to augment with comparing other data source because psychophysiological response is complex and disarranged data. Hence, varied analysis and follow-up study should be followed with applying eye point and line of sight data by eye-tracking device, flashback response data by recording learning situation, emotion data by face reader device and so on. Thirdly, the necessity of analysis by section according to learning contents and instructional strategies in video-based learning contents arose. By dividing video with meaningful section according to contents and instructional strategies and analyzing behavioral log and psychophysiological response matching with those sections, it can be helpful for interpreting learners’ psychological change. Moreover, this study did not analyze repeated exams separately which worked maximum three times by achievement level. In case of total repeat time of behavioral log, participants who took re-exam and re-re-exam provided longer video utilization time than participants who passed exam at once. Thus, it seemed to need follow-up researches which divide data by exam counts. Plus, test anxiety survey was performed at the last part of the experiment. As test anxiety survey was questioned about learners’ trait, the more suitable timing of performing this survey was the beginning part of the experiment which was able to control the influence of test. Last of all, calculating number of collecting participants with considering possible data omission is pivotal. For the characteristics of experimental research same as this study, data omission occurs undeniably and commonly due to equipment defects and errors. Therefore, it is crucial to collect enough participants dealing with data omission rate. This is the last suggestion for follow-up study.;최근 학습자가 원하는 곳에서 원하는 시간에 스마트 디바이스와 동영상 기반 학습 콘텐츠를 활용하여 자유롭게 학습하는 온라인 학습 형태가 증가하고 있다(Moore & Kearsley, 2011). 교수자의 면대면 교수가 부재하는 이러한 온라인 학습 환경에서는 학습자의 동기가 학습효과에 중요한 요인으로 작용하기 때문에 학습자의 학습동기에 대한 교수자의 통찰적 이해와 이를 바탕으로 한 적절한 처방 전략이 필요하다. 학습동기는 학습의 지속성과 강도를 결정하는 중요한 요인으로 다양한 학습환경에서 개인이 나타내는 개인차 변인 중 가장 중요한 요인 중 하나이다(Wighting et al, 2008). 학습동기에 포함되는 영역들과 주요 이론은 매우 광범위 한데 Pintrich와 DeGroot(1990)은 학습동기 중 학습에 영향을 미치는 중요한 요인으로 시험불안을 제시하고 있다. 시험불안은 시험 단계뿐 아니라 전반적 학습활동에 영향을 미치기 때문에(안마리, 1999) 교수자는 이를 학습 상황 시 파악하여 처방에 반영할 필요가 있다. 이는 학습자의 동기, 감정, 몰입 정도 등의 심리 상태를 함께 고려할 때 보다 효과적인 교수적 처방이 가능하기 때문이다(Siegle, 2014; Wilson, 2013). 이제껏 대부분의 연구에서는 학습자가 가지는 시험불안의 정도를 파악하고 학습자의 심리 기제를 이해하기 위해 자기보고식 설문조사를 주로 활용하였다. 오프라인 학습 환경에서는 교수자가 학습이 이루어지는 상황 동안 학습자를 직접 관찰 할 수 있기 때문에 이러한 측정법을 통해 직관적으로 파악한 학습자의 심리 기제와 학습자가 나타내는 학습 행동에 따라 적절한 처방을 제공하는 데에 무리가 없었기 때문이다. 하지만, 온라인 학습 환경에서는 학습이 교수자가 보지 않는 곳에서 개별적으로 일어나기 때문에 학습활동 중 변화하는 학습자의 행동을 관찰 할 수 없다. 또한, 온라인 학습 환경에서 이루어지는 회상에 의존한 자기보고식 설문조사를 통해서는 학습 상황 시에 시시각각 변화하는 학습자의 심리 상태를 파악하기가 어렵다. 때문에 이렇게 달라진 학습 환경 속에서 학습의 진행에 따라 변화하는 학습자의 심리 기제를 이해하고 예측되는 학업성취에 따라 적절한 교수-학습적 처방을 제공하기 위해 새로운 데이터의 활용에 대한 연구의 필요성이 제기되고 있다. 고차원적 학습 심리의 측정을 위해서는 학습자의 행동 로그 데이터, 생리심리반응 데이터를 통합적으로 분석하는 학습분석학적 접근을 통한 통찰적 이해가 필요한 것이다. 따라서, 본 연구는 동영상 기반 학습 환경에서 학습자의 행동 로그, 생리심리적 반응, 시험불안 설문조사, 학업성취 데이터를 실험 상황을 통해 수집한 후 각 데이터 간 관계를 분석하고 이들이 학업성취도에 미치는 영향을 실증적으로 규명하고자 한다. 본 연구의 연구문제는 다음과 같다. 연구문제 1. 동영상 기반 학습 환경에서 학습자의 행동 로그, 생리심리반응, 시험불안 설문조사는 학업성취를 예측하는가? 연구문제 2. 동영상 기반 학습 환경에서 학습자의 행동 로그, 생리심리반응, 시험불안 설문조사가 학업성취를 예측하는 데에 고성취 그룹과 저성취 그룹 간에 어떠한 차이가 있는가? 연구문제 3. 동영상 기반 학습 환경에서 학습자의 행동 로그, 생리심리반응, 시험불안 설문조사가 학업성취를 예측하는 데에 성별 간에 어떠한 차이가 있는가? 본 연구는 수도권 소재 대학교 학부 학생 남녀 각각 32명씩, 총 64명을 대상으로 진행되었으며 연구에 활용된 데이터는 1) 행동 로그(총 일시정지 시간, 총 재생반복 시간), 2) 생리심리반응(동영상 학습 시의 심박, 시험 시의 심박), 3) 시험불안 설문조사 및 4)학업성취 데이터이다. 실험에서 연구대상자는 통계기초 러닝패킷 동영상 콘텐츠를 시청한 후 이해 정도를 측정하는 간단한 시험에 응시하고 시험 결과에 따라 최대 총 3회까지 시험에 응시했으며 시험이 완료된 후 설문조사가 이루어졌다. 본 연구에서는 통계분석 프로그램 R을 활용하여 기술통계분석, 상관분석, 위계적 회귀분석을 실시하였다. 위계적 회귀분석을 통해 인구통계적 변인을 통제하여 동영상 기반 학습 환경에서 학습자의 행동 로그, 생리심리반응, 시험불안 설문조사가 학업성취에 미치는 영향력을 분석하였다. 또한 각 데이터가 학업성취에 미치는 영향에 있어 성취도 그룹 간, 성별 간 예측모형에 차이가 있는지를 t검정과 위계적 회귀분석을 통해 탐색적으로 규명하고자 하였다. 본 연구의 분석 결과는 다음과 같다. 첫째, 동영상 기반 학습 콘텐츠에 대한 학습자의 행동 로그, 생리심리반응, 시험불안 설문조사 데이터가 학업성취를 예측하는지 확인하기 위해 설정한 연구문제 1의 가설검증 결과, 전체집단 대상 예측모형에서 행동 로그와 생리심리반응 변인의 학업성취 예측력을 확인할 수 있었다. 전체집단 학업성취 예측모형의 결과, 행동 로그 중 총 재생반복 시간이 짧을수록, 생리심리반응 중 동영상 학습 시의 심박이 낮을수록, 시험 시의 심박이 높을수록 학업성취 점수는 높게 나타났다. 전체집단 학업성취 예측모형의 분석 결과 시험불안에 대한 설문조사 결과는 학업성취를 유의하게 예측하지 못했다. 온라인 학습 환경에서는 학습자가 자유롭게 동영상 기반 학습을 진행할 수 있고 학습이 교수자가 없는 곳에서, 교수자가 보지 못하는 시간 동안 자율적으로 이루어진다. 때문에 시험불안을 느끼는 정도와 시기에 학습자 개개인마다 차이가 생기게 되는데 사후의 기억에 의존하여 측정하는 자기보고식 설문조사로는 상황에 따라 변화하는 시험불안을 제대로 파악하지 못하게 되는 것이다. 행동 로그, 생리심리반응을 통해서는 변화하는 학습자의 심리 양상뿐만 아니라 교수 내용 중 어느 부분에서 어떠한 이유로 변화가 나타나는지 객관적인 정보를 통해 파악할 수 있기 때문에 온라인 학습 환경에서 학습자의 심리 기제 파악을 위해 이러한 데이터들의 활용이 필요함을 알 수 있었다. 둘째, 성취그룹에 따른 학업성취 예측모형 비교 및 분석을 통해 성취그룹 간에 학업성취를 예측하는 변인이 다르며 예측모형 간에 차이가 있음을 확인할 수 있었다. 고성취 그룹에서는 남자가 여자보다 높은 학업성취를 보였다. 많은 선행연구들에서 일반적으로 여학생이 남학생에 비해 낮은 성취도를 얻는다는 것이 확인되었기 때문에 수학 분야가 아닌 다른 과목과 관련된 동영상 기반 학습 콘텐츠를 활용하는 등의 후속연구가 필요하다. 저성취 그룹에서는 인문계가 아닐수록, 통계 강좌를 수강해 본 경험이 있을수록, 총 재생반복 시간이 짧을수록 학업성취가 높게 나타났다. 이는 저성취 그룹의 경우 선수지식을 가지고 있느냐 없느냐가 성취에 중요하게 작용한 했으며, 다시 동영상을 재생해서 본 시간을 학업성취의 제고로 연결시킬 만큼 유의미하게 활용하지 못한 것으로 해석될 수 있다. 셋째, 성별에 따른 학업성취 예측모형의 개발, 비교, 분석을 통해 성별 간에 다른 예측모형이 나타남을 확인할 수 있었다. 남자집단의 경우 생리심리반응 데이터인 동영상 학습 시의 심박이 학업성취를 부적으로 예측했지만 여자집단의 경우 통제 변인인 통계수강여부만이 학업성취를 유의하게 예측하였다. 이를 통해 학업성취를 예측하는 데에 남자가 보다 더 민감한 생리심리반응을 보임을 알 수 있었다. 생리심리반응 데이터는 남녀 간의 차이가 나타날 수 있는 데이터인데다 온라인 학습 환경에서 성별 차이의 영향에 관해 보고하는 다양한 선행연구들이 있기 때문에 성차 간 분석은 좀 더 심도 깊게 후속연구를 할 필요성이 있다. 이러한 연구 결과를 바탕으로 한 후속연구 제언은 다음과 같다. 첫째, 본 연구는 동영상 기반 학습 콘텐츠를 활용한 학습 환경이었지만 실험실에 연구진행자와 함께 입실한 상태에서 이루어진 실험 환경이었기 때문에 온라인 학습 환경을 완벽하게 대변하지 못한다는 제한점이 있다. LMS 기반으로 진행되는 실제 온라인 학습 환경에서의 다양한 행동 로그를 수집하여 이를 생리심리반응 데이터와 함께 분석하는 후속연구가 이루어져야 할 것이다. 둘째, 생리심리반응 측정 변인이 심박에만 한정되어 있다는 제한점을 가진다. 생리심리반응은 복잡하고 비정형화된 데이터이기 때문에 여러 데이터의 비교•분석을 통해 복합적으로 해석을 보완할 필요가 있다. 그러므로, 아이트랙킹 장비를 통한 시점 및 시선 데이터, 학습 장면 녹화를 통한 회상자극 데이터, 얼굴인식 장비를 통한 감정 데이터 등을 다양하게 활용하여 생리심리반응 데이터에 대한 다각적인 분석 및 후속연구가 이루어져야 할 것이다. 셋째, 동영상 기반 학습 콘텐츠 내의 학습 내용 및 교수설계전략에 따른 구간별 분석의 필요성이 제기된다. 동영상 학습 콘텐츠 내에서 제공되는 학습의 내용과 교수설계전략에 따라 동영상을 유의미한 구간으로 나누고 그 구간에 대한 행동 로그, 생리심리반응 데이터를 분석한다면 해당 구간에 대한 학습자의 심리 변화를 파악할 수 있을 것이다. 넷째, 연구대상자의 성취 수준에 따라 최대 3회까지 반복된 시험에 대해 분리하여 분석이 이루어지지 못했다는 제한점이 있다. 때문에 행동 로그, 생리심리반응 데이터의 분석 시 연구대상자 별로 다른 시험의 횟수는 고려되지 않았다. 시험 횟수를 통제 변인으로 투입하지 못한 이유는 시험 횟수가 종속 변인으로 사용된 학업성취의 통과 기준점에 의해 발생한 횟수이기 때문에 통제의 어려움이 있었기 때문이다. 때문에 각 시험 회 차에 따라 데이터를 분리하여 분석하는 등의 후속 연구조치가 필요할 것으로 판단된다. 다섯째, 특성의 성격을 지닌 시험불안을 실험이 완료된 후의 시점에 측정했다는 제한점이 있다. 설문조사의 문항은 연구대상자가 평소에 가지는 시험불안에 대해 묻고 있기 때문에 시험의 결과에 영향을 받을 수 있는 시점보다 실험이 본격적으로 실시되기 전의 시점에 설문조사를 실시하는 것이 더 적합한 시점이라고 할 수 있다. 마지막 후속 연구를 위한 제언으로 데이터 누락에 대비한 연구대상자 인원 산정을 강조하고 싶다. 본 연구와 같은 실험 연구의 특성상 사용되는 장비의 기기적 결함 및 오류로 인해 데이터가 누락되는 상황이 필연적으로 발생하게 되기 때문에 필히 데이터 누락률을 고려하여 연구대상자를 모집해야 한다. 후속 연구 시 이 점을 염두에 두기를 마지막으로 제언하는 바이다.