비실시간 동영상 학습에서 부정정서 조절 영상 내 퀴즈(In-video quiz) 설계 및 효과성 검증

Abstract

최근 COVID-19의 확산으로, 전 세계는 온라인 학습에 주목하고 있다. 그중 비실시간 동영상 학습은 시공간의 제약이 없어 감염병 상황에서 효과적인 학습 방식으로 제시된다. 그러나 동영상 학습은 학습자의 인지적인 어려움을 적시에 해결하기 어려워 혼란, 좌절, 지루함의 정서를 조절하지 못한다는 한계가 있다. 혼란, 좌절, 지루함은 동영상 학습에서 대표적으로 나타나는 부정정서로, 이를 적시에 조절하지 못한다면 학습이탈로 이어질 수 있어 부정정서의 조절이 중요하다(D’Mello & Graesser, 2012). 선행연구에서는 정서조절을 위해 자동화된 에이전트 활용, 인지적 메시지 제공, 튜터링 도구 활용, 영상 내 퀴즈 활용 등을 제시하고 있으며, 이와 같은 요소는 모두 학습자의 정서 상태를 바탕으로 적시에 제공된다. 이를 토대로 학습자는 부정정서가 조절되기도, 학습성과가 향상되기도 한다. 그러나 부정정서는 학습상황에서 질문이 생기거나, 이해가 되지 않는 등 인지적인 어려움을 겪을 때 해소되지 않아 발현되는 정서이므로, 부정정서 조절을 위해 인지적인 피드백을 제안할 필요가 있다. 인지적 피드백은 부정정서를 조절하는 것과 관련된 선행연구에서 학습자의 정서조절을 위한 여러 방안 중 하나로 제안되고 있다. 인지적 피드백이란 학습자에게 정·오 혹은 정보적 피드백을 제공함으로써 학습자의 인지 과정을 돕는 것을 말하며, 영상 내 퀴즈(In-video quiz)는 그 유형 중 하나이다. 이전에는 퀴즈를 단순 평가의 기능에 한정하기도 하였으나 최근에는 성찰적 요소로서의 피드백 역할을 제안하기도 하며, 또한 영상 내 퀴즈가 학습자의 정서조절에 효과가 있음을 밝히면서 정서조절 인지적 피드백 활용을 제안하기도 한다. 본 연구는 이러한 선행연구들을 토대로 영상 내 퀴즈의 피드백 제시 시점을 보다 세분화하여 시점에 따른 학습 효과성을 확인하고자 하였다. 구체적으로 피드백 제시 시점에 따른 부정정서 조절 여부 및 피드백 효과성을 살펴보고자 성인 학습자 30명을 대상으로 고정시점, 정서기반 시점, 무피드백 세 집단으로 나누어 실험연구를 진행하였다. 즉, 본 연구는 동영상 학습 중 발생하는 인지적 어려움이 해소되지 않을 때 발현되는 부정정서를 조절하고자, 인지적 피드백 유형 중 하나인 영상 내 퀴즈를 설계하였다. 이후 고정된 시점에서 퀴즈를 제시하는 방법과, 부정정서 발현 적시에 조절하는 정서기반 시점 및 피드백이 없는 무피드백 간의 비교를 통해 그 효과성을 검증하고자 하였다. 연구목적을 위해 도출된 연구문제는 다음과 같다.

[연구문제 1] 동영상 학습에서 인지적 피드백 유형 중 하나인 영상 내 퀴즈의 제시 시점(고정/정서기반/무피드백)에 따라 부정정서 조절에 차이가 있는가? [연구문제 2] 동영상 학습에서 인지적 피드백 유형 중 하나인 영상 내 퀴즈의 제시 시점(고정/정서기반/무피드백)에 따라 사후 성취도에 차이가 있는가? [연구문제 3] 동영상 학습에서 인지적 피드백 유형 중 하나인 영상 내 퀴즈의 제시 시점(고정/정서기반/무피드백)에 따라 동영상 학습만족도 및 피드백 만족도에 차이가 있는가?

연구문제 확인을 위해 약 2주간 실험연구를 통해 총 30명의 자료를 수집하고 분석하였다. 이때 실험 중 정서측정은 정서 구술 기법으로, 정서조절 여부는 표정 분석으로 진행하였다. 이를 바탕으로 도출된 본 연구의 연구결과는 다음과 같다. 첫째, 고정집단에서 부정정서 감소 및 정서기반 집단에서 온태스크가 증가한 것으로 확인되었다. 이는 두 시점의 영상 내 퀴즈가 모두 부정정서를 유의하게 조절함을 의미한다. 둘째, 집단별로 사후 성취도를 확인한 결과(연구문제 2), 인지적 피드백을 활용한 실험집단과 피드백을 활용하지 않은 통제집단 간의 통계적 유의성이 확인되었다. 이는 피드백을 활용하면 사후 성취도가 향상된다는 것을 알 수 있다. 구체적으로 고정시점과 무피드백 집단을 분석한 결과, 고정시점의 사후 성취도가 유의함을 알 수 있었다. 이는 고정시점으로 피드백을 제공하면 사후 성취도가 향상됨을 의미한다. 셋째, 실험집단(고정/정서기반)의 동영상 학습만족도가 무피드백 집단보다 유의미하게 높은 것으로 확인되었다. 상관분석 결과에서도 부정정서는 동영상 학습만족도와 부적 상관관계가, 온태스크는 동영상 학습만족도와 정적 상관관계가 있다고 나타났다. 이는 부정정서가 많을수록 동영상 학습만족도가 낮아지며, 온태스크가 많을수록 동영상 학습만족도가 높아짐을 말한다. 마지막으로, 고정시점과 정서기반 시점의 집단별 피드백 만족도를 확인한 결과(연구문제 3), 기술통계에서 고정시점 집단의 평균이 더 높게 나타났으나, 통계적으로 유의한 차이는 확인되지 않았다. 이는 피드백 사용 자체가 학습에 도움이 되어 두 집단 모두 피드백에 대한 만족도가 높은 것으로 볼 수 있다. 이러한 결과는 영상 내 퀴즈가 부정정서 조절과 학습만족도 향상에 효과가 있음을 나타내며, 동영상 학습에서 적절하게 제시되면 학습이탈을 조절할 수 있음을 시사한다. 이러한 연구결과는 이론적, 실천적 측면에서 여섯 가지의 의의가 있다. 먼저, 이론적 측면에서 첫째, 본 연구는 국내에서 처음으로 부정정서 조절로써 영상 내 퀴즈를 설계하고 그 효과성을 검증한 연구이다. 해외에서 영상 내 퀴즈를 통해 부정정서를 조절하고 집중도를 향상한다는 연구가 발표되고 있으나, 이를 국내 맥락에서 실제 실험을 통해 검증했다는 점에서 의의가 있다. 둘째, 부정정서와 영상 내 퀴즈의 관계를 탐색함으로써 영상 내 퀴즈의 연구 범위를 확장하였다. 셋째, 실험을 통해 실제 학습자의 경험과 의견을 반영하여 실제성을 높였다는 점이다. 다음으로, 실천적 측면에서 본 연구의 의의는 다음과 같다. 첫째, 본 연구결과를 기반으로 교수학습 설계 시 학습자의 개별화된 메커니즘을 고려할 수 있다. 둘째, 다양한 기관에서 개별화 전략을 활용한 적시성 피드백 설계를 할 수 있다. 셋째, 본 연구는 실험을 통해 실제 학습자의 정서를 측정하여 적시에 피드백 제공을 시도했다는 점에서 의의가 있다. 이를 통해 후속연구에 기초자료가 되고, 향후 학습자의 정서를 기반으로 개별화 맞춤 교육이 가능할 것이다. 그러나 본 연구가 가지는 제한점과 후속연구에 대한 제언은 다음과 같다. 첫째, 본 연구는 COVID-19와 같은 현실적 상황을 고려하여 표본 수 모집과 실험 횟수에 제한적이었다. 후속연구에서는 집단별 표본 수 확대 및 실제 수업에서 장기간 사용한 효과성을 검증하여 연구의 타당성을 확장해야 할 것이다. 둘째, 본 연구에서는 학습자의 인지 부하 방지를 위해 실험 중 정서측정을 정서 구술 기법으로만 진행하였다. 후속연구에서는 학습자의 표정 또한 실시간으로 확인하여 정확도를 높인 연구를 수행해야 할 것이다. 셋째, 본 연구에서는 영상 내 퀴즈를 6개로만 제시하였다. 이에 정서기반 시점에서는 배우지 않은 내용도 제시될 수 있었다. 따라서 후속연구에서는 퀴즈의 개수를 늘려 해당 구간에 적합한 피드백을 제시해야 할 필요가 있다. 마지막으로, 후속연구에서는 학습자의 다양한 개별 변인을 측정하여 개별화된 메커니즘 설계에 대한 시사점을 제안해야 할 것이다. 이러한 연구의 제한점에도 불구하고, 연구에 참여한 학습자들은 실제로 영상 내 퀴즈가 개발된다면 활용할 의사가 있다고 표하였다. 특히 본 연구는 영상 내 퀴즈가 부정정서 조절과 on-task 향상에 효과적이며, 부정정서 중에서도 지루함 조절에 효과적인 것으로 밝혀졌다. 따라서 본 연구를 바탕으로 학습자에게 지루함 발현 시 영상 내 퀴즈를 제공한다면, 보다 향상된 학습효과를 기대할 수 있을 것이다.;With the recent spread of COVID-19, the world is paying attention to online learning. Asynchronous video-based learning is effective for infectious disease situations because there is no time and space restriction. However, video-based learning has a limitation in that it is challenging to solve learners' cognitive difficulties promptly, and it cannot control emotions of confusion, frustration, and boredom (Lee et al., 2021). Confusion, frustration, and boredom are typical negative emotions in video learning. If they are not controlled promptly, they can lead to deviations from understanding, so it is essential to control negative emotions (D'Mello & Graesser, 2012). Previous studies suggest using automated agents, provision of cognitive messages, intelligent tutoring tools, and in-video quizzes to control those negative emotions, all of which provide on time based on the learner's emotional state. Based on this, learners may control negative emotions and improve their learning outcomes. However, negative emotions can not resolve when learners do not understand or have cognitive difficulties in learning situations, so it is necessary to propose cognitive feedback to control negative emotions. Based on these prior studies, this study attempted to confirm the learning effectiveness according to the time point by further subdividing the timing of the feedback presentation of the quiz in the video. Specifically, to examine negative emotions are regulated and feedback effectiveness according to the timing of feedback presentation, an experimental study was conducted for 30 adult learners by dividing them into three groups: fixed time, emotion-based time, and non-feedback. In other words, this study designed an in-video quiz, one of the types of cognitive feedback, to control the negative emotions expressed when the cognitive difficulties during video learning are not resolved. After that, the effectiveness was verified by comparing the method of presenting the quiz at a fixed point in time, the emotion-based point in time to control the expression of negative emotions, and the feedback-free feedback. The research problems derived for research purposes are as follows.

[Research Question 1] Is there a difference in negative emotion control according to the presentation time (fixed/emotion-based/non-feedback) in-video quiz, which is one of the types of cognitive feedback in video-based learning? [Research Question 2] Is there a difference in post-achievement according to the presentation time (fixed/emotion-based/non-feedback) in-video quiz, which is one of the types of cognitive feedback in video-based learning? [Research Question 3] Is there a difference in video learning satisfaction and feedback satisfaction according to the presentation time (fixed/emotion-based/non-feedback) in-video quiz, which is one of the types of cognitive feedback in video learning?

The researcher experimented with an emotional-aloud technique and facial expression analysis to solve these research problems. Data from 30 participants were collected and analyzed through experimental research for about two weeks. The research results of this study derived based on this are as follows. First, negative emotions decreased in the fixed group, and on-task increased in the emotion-based group(Research question 1). It means that both quizzes significantly control negative emotions. Second, checking the post-achievement level for each group (Research question 2), the experimental group using in-video quiz and the control group not using feedback was confirmed statistical significance between them. It means the use of feedback improves post-achievement. Specifically, as a result of analyzing the fixed and non-feedback groups, it was found that the post-achievement at the set point was significant. It means that providing feedback at a fixed point in time improves post-achievement. Third, the satisfaction level of video-based learning in the experimental group (fixed/emotion-based) was significantly higher than that of the non-feedback group. Correlation analysis results also showed that negative emotions negatively correlated with video-based learning satisfaction, and on-task positively correlated with video learning satisfaction. It means that the more negative emotions there are, the lower the satisfaction with video-based learning. The higher the on-task, the higher the satisfaction with video-based learning. Therefore, it suggests that learners' level of satisfaction should increase by controlling negative emotions through in-video quizzes in video-based learning. Finally, as a result of checking the feedback satisfaction of each group at the fixed time point and emotion-based time point (Research Question 3), the average feedback satisfaction of the fixed time point group was higher in descriptive statistics. But there was no statistically significant difference. It means that feedback helps learn so that both groups can have increased satisfaction with feedback. These results indicate that in-video quizzes effectively control negative emotions and improve learning satisfaction. So it suggests that learning deviation can be controlled if appropriately presented in video learning. These research results have six significant theoretical and practical aspects: First, this study is the first study in Korea to design in-video quizzes by controlling negative emotions and verifying their effectiveness. Second, overseas studies were published to control negative emotions and improve concentration through in-video quizzes. Still, it is meaningful that this research also confirmed those results through actual experiments in the domestic context. Third, this research expanded of in-video quiz research scope by exploring the relationship between negative emotions and the in-video quiz. Finally, the practicality was improved by reflecting the experiences and opinions of actual learners through experiments. The significance of this study in practical terms is as follows. First, based on the results of this study, the instructional designer can consider learners' individualized mechanisms when designing teaching and learning in video-based learning. Second, various institutions can develop timeliness feedback using individualization strategies. Third, this study is meaningful in that it attempted to provide timely feedback by measuring the emotions of actual learners through experiments. The above results will become primary data for subsequent research, and personalized and customized education will be possible based on the learner's emotions. Therefore the limit primary of this study and suggestions for subsequent studies are as follows. First, this study was limited to the number of samples and experiments considering realistic situations such as COVID-19. In subsequent studies, it is necessary to expand the study's validity by increasing the number of samples for each group and verifying the effectiveness used for a long time in actual classes. Second, in this study, to prevent learners' cognitive load, dynamic measurement during the experiment was conducted only with emote-aloud techniques. In the follow-up study, it is necessary to conduct a study to increase accuracy by checking learners' facial expressions in real-time. Third, only six quizzes were presented in the video in this study. Therefore, content that the learner did not learn could be presented as a quiz in an emotion-based group. Consequently, it is necessary to increase the number of quizzes in future studies and present feedback suitable for the section. Finally, in the follow-up study, it is required to measure various individual variables of learners and propose implications for designing individualized mechanisms. However, despite the limitations of these studies, learners who participated in the experiment indicated that they were willing to use an in-video quiz if it was actually developed. In particular, this study found that in-video quizzes effectively control negative emotions and improve on-tasks and prevent boredom among negative emotions. Therefore, based on this study, a more improved learning effect can be expected if the in-video quiz is provided to learners when boredom is expressed.