온라인 동영상 학습에서 정서와 오프태스크 행동 분석 기반 중재 피드백 설계 효과성 검증

Abstract

학습 과정에서 학습자의 인지적 영역 뿐만 아니라 정서적 영역에 대한 연구가 지속적으로 이루어지며, 학습의 지속성을 위한 정서 관리의 중요성이 대두되었다. 인간의 정서 데이터를 바탕으로 한 추천 시스템, 광고 전략, 치료적 접근이 이루어지는 등 다양한 분야에서 인간의 정서에 주목하고 있다. 이러한 추세에도 불구하고 온라인 동영상 학습 연구는 여전히 학습자의 인지적 측면에 편중되어 학습자의 정서적 관리와 효과 검증에 대한 부분은 부족한 실정이다. 특히 학습 중 발생하는 부정적인 학습정서(지루함, 혼란, 좌절)는 학습 과정과 결과에 영향을 미치기 때문에 부정적 정서의 관리의 필요성을 많은 연구에서 언급하고 있다. 효과적인 학습은 인지적 영역, 정서적 영역이 함께 자극될 때 극대화되며, 정서적 관리가 이루어지지 않으면 학습자는 탈 학습 상태인 오프태스크(off- task) 행동을 나타낸다. 오프태스크 행동은 학습자가 외부적/내부적 요인에 의해 학습에서 이탈한 상태가 행동으로 드러난 것을 의미한다. 오프라인 학습의 경우 교사가 존재하여 학습자의 행동을 교정하거나 지켜보는 등의 판단을 내려 학습자를 관리해주는 반면, 온라인 학습은 교사와 같은 관리자의 부재로 학습자의 오프태스크 행동을 관리하기 어렵다. 한편, 오프태스크 행동은 학습 과정에 도움이 될 수 있다는 상반된 연구 결과도 있어 오프태스크 행동 조절에 대한 판단에 어려움을 준다. 이러한 연구적 견해 차이에도 불구하고 다수의 학습설계 연구에서는 오프태스크 행동의 부정적인 측면 만을 고려하였다. 그러나 오프태스크 행동은 학습자의 상태에 따라 주의환기를 통한 학습에 몰입 정도를 높여주는 등의 긍정적인 작용을 하기도 하며, 궁극적으로 오프태스크 행동의 내재적 의미를 규명하는 것은 학습을 진행하는 학습자의 학습 상태를 예견할 수 있는 역할을 수행할 수 있다. 학습 과정에서 제공되는 피드백은 학습자의 상태와 학습 과정 전반에 도움을 주는 형태로 오프태스크 행동과 정서 조절에 효과성이 있음이 입증되었다. 그러나 다수의 피드백 연구는 학습자의 인지적 학습에 대한 지원에 집중되어 피드백을 제공하는 내용적 측면에 관한 연구가 대부분이며 적절한 형태의 제공방식에 대한 연구는 부족하다. 특히 정서적 피드백에 관한 연구 결과는 학습 효과성이 제한적이었고, 이러한 정서적 피드백 효과성의 제한은 단편적으로 제공되는 피드백의 형식적 제약에 의한 것이었다. 이에 피드백을 제공하는 적절한 방식에 대한 검증이 필요하다. 따라서 정서적 영역에 대한 학습 지원이 부재한 온라인 동영상 학습 과정에서 학습자의 정서와 오프태스크 행동을 분석하고, 내적 의미 규명 및 유형화 연구와 학습자 행동 중재를 위한 피드백의 효과성 검증에 대한 연구는 교수 설계적으로 연구적 필요성이 충분하다. 본 연구는 온라인 동영상 학습 맥락에서 오프태스크를 유발하는 학습 정서를 분석하여 정서와 오프태스크 행동 사이의 관계를 규명하여, 학습 과정에서 발행하는 오프태스크 행동을 중재하기 위한 정서적 피드백의 효과성을 확인하고자 하였다. 이를 위해 학습 정서와 오프태스크 행동 사이의 관계를 분석한 후 내적 의미를 근거이론방법으로 분석하였으며, 오프태스크 행동을 중재하기 위해 피드백 설계의 효과성을 피드백 제시 방법에 따라 행동 중재 효과성, 인지적 학습 효과성, 사용성의 측면에서 다각도로 살펴보았다. 이에 따른 연구문제는 다음과 같다. 선행연구와 실험을 통한 오프태스크 행동 분석기준 도출(연구문제 1-1), 온라인 동영상 학습에서의 정서와 오프태스크 행동 관계 분석(연구문제 1-2), 관계 분석을 통해 도출한 정서와 행동 유형화(연구문제 1-3), 피드백 프로그램의 효과성 검증을 위한 오프태스크 행동 중재 효과성(연구문제 2-1), 인지적 학습 효과(연구문제 2-2), 프로그램 사용성(연구문제 2-3)에 대한 연구문제를 수립하였다. 실험은 준실험설계 방식의 두 단계로 나누어 진행하였다. 1차 실험은 학습정서(지루함, 혼란, 좌절)와 오프태스크 행동의 관계를 살펴본 후, 오프태스크 행동 중 중재가 필요한 행동을 도출하고 유형화하기 위한 실험을 진행하였다. 분석은 정서와 행동의 데이터에 대한 양적 분석과 질적 분석을 함께 진행하는 혼합 연구 방법을 채택하였다. 2차 실험은 1차 실험 결과를 바탕으로 도출한 중재가 필요한 정서와 오프태스크 행동을 조절하기 위해 프로토타입으로 직접 개발한 피드백 설계를 오프태스크 행동 중재 효과성과 인지적 학습 효과 및 사용성을 중심으로 분석하였다. 개발물은 연구참여자 스스로 학습할 수 있는 온라인 동영상 학습 환경을 구현하였다. 연구참여자는 사전검사를 마친 후 동영상 학습을 시청하며, 학습 과정에서 피드백을 전달받으며 학습한다. 연구자는 연구참여자의 학습 상태에 따라 피드백을 전송할 수 있도록 설계하였다. 피드백의 내용은 선행 연구를 통해 도출된 네 가지 유형(공감, 안심, 인정, 격려)을 랜덤으로 사용하였다. 피드백 제시 방법에 따른 효과를 살펴보기 위해 세 집단(고간섭적 피드백/저간섭적 피드백/통제집단)으로 나누어 실험을 실시하였다. 고간섭적 피드백 집단은 연구자가 전송하는 피드백을 직접적으로 수용하여 학습하도록 하였으며, 저간섭적 피드백 집단은 연구자가 전송하는 피드백을 간접적으로 수용하여 필요에 따라 확인할 수 있도록 하였다. 통제 집단은 피드백 없이 학습을 진행하였다. 피드백의 행동 중재 효과성은 연구자가 학습자의 정서와 행동을 분석하여 피드백 제시 이후에 행동이 변화하는 정도를 측정한 수치를 기준으로 검증하였고, 인지적 학습 효과 및 사용성은 검사지를 통한 양적 자료에 대한 분석 결과를 바탕으로 확인하였다. 주요 연구 결과는 다음과 같다. 첫째, 오프태스크 행동을 분류하는 기준은 네 가지의 대범주(비참여적 움직임, 참여적 움직임, 생리현상, 시선이탈), 여섯 가지의 중범주(특정 대상 보기, 기기 사용하기, 생리적 욕구해결, 신체 만지기, 신체 움직이기, 발화하기)로 분류된다(연구문제 1-1). 발생한 행동 자체는 하나의 행동이지만 내포된 의미는 다르기 때문에, 학습과정을 종합적으로 판단하여 중재여부를 결정할 수 있다. 둘째, 온라인 동영상 학습에서 학습자의 학습정서(지루함, 혼란, 좌절)와 오프태스크 행동의 관계는 유의미한 양의 상관관계를 가진다(연구문제 1-2). 본 연구에서 총 12개의 유의미한 상관관계를 가진 정서-오프태스크 행동 세트를 도출하였다. 그러나 본 연구 결과로 도출된 일부 오프태스크 행동은 구분되지 않고 다른 정서에도 함께 나타난다. 이러한 이유는 학습 과정에서 발생하는 정서가 명확하게 구분되는 것이 아니라 다양한 상황과 맥락에 따라 결합되기도 하고, 인과관계를 나타내기도 하며, 포함관계를 형성하기 때문이다. 따라서 발생하는 정서에 따른 오프태스크 행동을 명확하게 구분하는 것은 어려우며, 중재가 필요한 행동이 발생한 경우 학습 시간에 따라 행동 전후를 함께 살펴볼 필요가 있다. 셋째, 학습정서에 따른 오프태스크 행동은 학습 과정에 부정적인 영향을 주는지 여부에 따라 중재가 필요한 행동과 불필요한 행동으로 구분할 수 있다(연구문제 1-3). 학습 과정에서 여러 가지 상황과 맥락에 의해 부정적인 학습 정서가 발현되면, 학습자는 직면한 상황과 정서를 조정하기 위한 작용/상호작용적 전략으로써 오프태스크 행동을 나타낸다. 그 결과로 정서에 따라서 오프태스크 행동은 네 가지 유형(전환형, 포기형, 표출형, 결과형)으로 구분할 수 있다. 학습자의 행동은 학습자가 자신이 직면한 학습 상황을 조정하며 끝까지 학습하기 위해 취하는 행동 전략이며 이를 통해 학습자는 학습을 유지하는데 도움을 받을 수 있다. 그러나 이와 같은 학습자의 노력이 학습 과정에 성공적으로 작용하지 않을 경우 학습 과정에서 탈락하게되기 때문에 오프태스크 행동은 주기적으로 관찰하여 외부적인 조절이 필요하다고 할 수 있다. 넷째, 온라인 동영상 학습 피드백 설계에서 행동 중재 효과성은 피드백 제시 방법(고간섭적 피드백/저간섭적 피드백)에 따라 차이가 있다(연구문제 2-1). 학습 시간 경과에 따라 살펴보면 정서적 피드백은 학습 초반에 가장 효과적이었으며 중반을 지날수록 효과가 감소하여 후반에는 전반적으로 피드백의 효과를 확인할 수 없었다. 이러한 추세는 저간섭적 피드백 집단보다 고간섭적 피드백 집단에서 더 강하게 나타났다. 또한 피드백 내용의 네 가지 유형(공감, 안심, 인정, 격려)에 따라 살펴보면 학습 초반과 중반에는 두 집단(고간섭적 피드백/저간섭적 피드백) 간 차이가 없었고, 학습 후반에는 고간섭적 피드백 집단이 저간섭적 피드백 집단보다 행동 중재 정도 효과가 높았다. 이러한 결과의 의미는 학습 시기에 따라 피드백의 효과는 감소했지만 모든 학습자에게 피드백이 효과적으로 작용하였고, 특히 학습 초반과 중반에는 두 집단의 학습자 모두에게 효과가 있었다는 것을 의미한다. 그러나 학습 후반에는 고간섭적 피드백 집단이 저간섭적 피드백 집단에 비해 상대적으로 피드백의 효과가 있었음을 확인할 수 있다. 학습 후반에 피드백의 행동 중재 효과성이 낮아진 이유는 반복적으로 제시된 피드백의 시각적 자극 효과가 감소한 것으로 볼 수 있다. 다섯째, 온라인 동영상 학습 피드백 설계에서 인지적 학습 효과는 제시 방법에 따라 차이가 있다(연구문제 2-2). 무 피드백보다 저간섭적 피드백이 더 효과적이며, 저간섭적 피드백보다 고간섭적 피드백이 통계적으로 유의하게 더 효과적이었다. 무 피드백 집단의 피험자들은 혼자 학습하는 상황에 놓이면서 학습 과정에서 학습을 완료해야 한다는 의지가 점차 감소하였다. 반면, 고간섭적/저간섭적 피드백 집단은 학습 화면이 주기적으로 변화하고, 학습자의 상태에 따른 반응이 학습 화면에 표현되는 등의 지속적인 자극이 학습자의 인지적 학습을 향상시킨 것으로 보인다. 다만 지속적인 자극이 정서적인 부분에서 긍정적으로만 작용한 것은 아니며, 부정적인 정서를 유발하기도 하였다. 인지적 학습에 영향을 준 긍정적인 부분은 주의 환기로 인한 학습으로의 복귀이며, 부정적인 정서는 편안하게 학습을 하는 것을 간섭하는 것에서 유발된 불편함이다. 피드백은 학습자에게 피드백 확인 버튼을 클릭하도록 유도함으로써 행동을 유발하고, 주의 환기를 유발하였다. 이처럼 피드백이 없는 집단보다 피드백을 제공받은 집단의 인지적 학습 효과적이라는 결과를 통해 교수 설계적인 시사점을 발견할 수 있다. 여섯째, 온라인 동영상 학습 피드백 설계에 대한 사용성은 제시 방법에 따라 차이가 있다(연구문제 2-3). 사용성 개별 요인에서 효과성 요인은 피드백 제시 방법, 성별, 학습흥미에 따른 차이가 없었으며, 지속사용의향 요인에서는 고간섭적 피드백 집단, 여성, 흥미있는 집단이 높았다. 이러한 결과는 앞서 확인한 것과 유사한 맥락으로 양쪽 집단에 피드백에 의한 효과가 있었지만, 지속적으로 사용하는 것에 대한 부분은 고간섭적 피드백 집단이 저간섭적 피드백 집단보다 높음을 의미한다. 이는 피드백 프로그램이 가지는 형식적 문제(클릭 횟수)에 의한 것으로 분석된다. 성별에 따른 차이는 표집된 피험자의 특성에 의한 영향이 있는 것으로 분석되었다. 본 연구의 의의는 다음과 같다. 첫째, 온라인 학습을 위한 교수 설계 시 정서적 측면을 고려해야 함을 밝히며, 정서와 오프태스크 행동의 기준을 제공하여 온라인 학습 설계 맥락의 연구를 확장하였다. 둘째, 온라인 학습 설계 시 학습자의 자율성 정도에 대한 논의의 필요성을 제기하면서 설계 전략의 근거를 제공할 수 있을 것으로 기대된다. 셋째, 학습자는 온라인 학습 임에도 불구하고 실재감을 중시하며, 이점이 학습 과정에서 학습 결과에 영향을 미친다는 것을 검증하여 온라인 학습 설계에서 고려해야 할 요소 중 실재감을 위한 기초연구로서의 의미가 있다. 넷째, 온라인 동영상 학습 설계 시 정서적 피드백 제시 방법에 대한 이론적 기반을 제시하였다. 한편, 본 연구는 연구참여자에게 정서적 영향을 줄 수 있는 실험실 환경에서 제한적인 피드백 만을 사용하여 진행했다는 점과 정서 측정을 자동 분류 기술을 사용하지 않았다는 점에서 연구의 제한점이 있다. 또한 정서에 영향을 줄 수 있는 생리심리데이터의 미사용, 피드백 유형의 랜덤 제시 방법 등 연구 방법 측면에서 향후 추가 연구가 필요한 부분이 존재한다. 그럼에도 불구하고 본 연구는 온라인 동영상 학습 과정에서 간과하기 쉬운 학습자의 정서와 오프태스크 행동을 분석하여 중재가 필요한 행동 유형을 도출하여 이를 조절하기 위한 피드백 프로그램을 개발하였다. 또한 이에 대한 효과성을 다양한 관점에서 분석했다는 점에서 교수 설계적 관점에 시사점을 제공하였고, 연구 결과를 바탕으로 실제적 교수 설계 전략을 제시하였기 때문에 교육공학적인 의미가 크다고 할 수 있다. 본 연구를 통해 향후 온라인 학습 개발과 피드백 설계를 위한 교육공학 연구에 다양한 이론적 근거를 제공할 수 있을 것으로 기대한다.;The purpose of this research is to analyze the correlation between off-task behavior and academic emotion occurred upon video-based learning with aims to make effective feedback design system, thereby increasing learning effects of learners. Various researches have been continuously conducted surrounding one’s learning process, from covering a learner’s cognitive domain to emotional domain, followed by the importance of emotional management for persistent learning. Based on human emotional data, various fields have focused on the effect of human emotions, such as recommendation systems, advertising strategies and therapeutic approaches. Despite the trend, researches in video-based learning still focuses heavily on learners’ cognitive aspects for the most, limiting the potentials of cross-effects linked to learners’ academic emotion management. In particular, many studies have mentioned the need to manage learners’ negative academic emotions (boredom, confusion, and frustration) that occur during learning, since it has impact on the learning process and outcome. Effective learning is maximized when both cognitive and emotional areas are simultaneously stimulated, therefore, if emotional management does not follow, the learner represents off-task behavior, which is a post-learning state. Off-task behavior means that the learner departs from the act of learning due to external/internal factors. In the case of offline learning, teachers exist to manage learners by making judgements, such as correcting or watching learners' behaviors, while video-based learning is difficult to manage learners' off-task behaviors due to the absence of managers, such as teachers. On the other hand, some researches show that off-task behavior can be helpful in the learning process, making it difficult to judge the value of off-task behavior control. Despite these differences in research results, many learning design studies have focused on only the negative aspects of off-task behavior. However, off-task behavior may have positive effects, such as increasing the concentration degree in learning through calling attention from time to time depending on the learner's condition. As a result, identifying the intrinsic meaning of off-task behavior can play a critical role in predicting the learner's learning state. Feedback provided in the learning process have been proven to be effective in off-task behavior and emotional regulation in a form that helps the learner's state and overall learning process. However, many feedback-related researches are mostly on the content aspect, focusing on support for learners' cognitive learning, whereas studies on appropriate forms of delivery lack. In particular, the results of the study on emotional feedback were limited in learning effectiveness, and this limitation of emotional feedback effectiveness was due to the formal constraints of feedback provided fragmentarily. Therefore, it is necessary to verify the appropriate method of providing feedback. Academic research on the analysis of learners' academic emotions and off-task behaviors in the video-based learning process that currently lack research on learning support for emotional areas, internal meaning identification, typification, and effectiveness verification of feedback in learners’ behaviors are necessary in instructional design. This study analyzes academic emotions that cause off-task behavior in the context of video-based learning, and investigates the relationship between learners’ academic emotions and off-task behavior, confirming the effectiveness of emotional feedback to mediate off-task behavior issued in the learning process. To this end, the relationship between academic emotion and off-task behavior is analyzed using a grounded theory method, and the effectiveness of feedback design was examined from various angles in terms of behavioral intervention effectiveness, cognitive learning effectiveness, and usability according to the feedback presentation method. The research problems are as follows: Off-task behavior analysis criteria driven by previous studies and experiments (research question 1-1), analysis of correlation between emotion and off-task behavior (research question 1-2), categorization of emotional and behavioral learning through correlation analysis (research question 1-3), verification of the effectiveness of the feedback program in off-task behavior intervention (research question 2-1), in cognitive learning effect (research question 2-2), and in program usability (research question 2-3). The experiment was divided into two stages of the quasi-experimental design method. The first experiment examined the relationship between learning emotions (boredom, confusion, frustration) and off-task behavior, then followed by subsequent experiment to derive and categorize behaviors that require intervention among off-task behaviors. The development implemented a video-based learning environment in which research participants can learn by themselves. Research participants watch video learning after completing a pre-test, and learn by receiving feedback during the learning process. The researcher was designed to transmit feedback according to the learning status of the study participants. As for the types of feedback, four types (sympathy, relief, recognition and encouragement) derived through previous studies were randomly used. In order to examine the effectiveness of the feedback presentation method, the experiment was conducted by dividing it into three groups (obstructive feedback/non-obstructive feedback/control group). The obstructive feedback group was asked to directly accept and learn the feedback transmitted by the researcher, and the non-obstructive feedback group indirectly accepted the feedback delivered by the researcher so that it could be checked when needed. The control group conducted was not given any feedback. The behavioral intervention effectiveness of feedback was verified based on values measured by the researcher after the feedback was presented by analyzing learners' emotions and behaviors, and cognitive learning effects and usability were confirmed based on the analysis results of quantitative data through test papers. Key research results are as follows: First, off-task behaviors are classified into four major categories (non-participatory movements, participatory movements, physiological phenomenon, and visual distractedness) and into six mid-level categories (stare into an object, utilization of a tool, activities to fulfill physiological needs, physical contact to body parts, physical movement of body parts, and articulation of words)[research question 1-1]. Though conducted behavior of a learner is just a behavior, its intention may vary. Hence, deciding whether to intervene should be determined by comprehensively analyzing the learning process. Second, there is a significant positive correlation between learners’ academic emotions (boredom, confusion, and frustration) and off-task behaviors in video-based learning [research question 1-2]. In this research, 12 sets of ‘emotion―off-task behaviors’ with significant correlations were discovered. However, certain types of off-task behaviors within the result did not distinctly stand out, being affected by other emotions. The reason for this phenomenon is that the emotions arise during the learning process are not clearly distinguished, and they can be combined, causally related, or mutually included upon various circumstances and contexts. Therefore, it has been found that it is difficult to define which emotion leads to which off-task behavior, and that one should thoroughly analyze the context along the learning time frame when a behavior that needs an intervention has occurred. Third, off-task behaviors generated by academic emotions can be classifies into behaviors that need intervention and behaviors that do not, according to whether certain behavior negatively affects a learning process [research question 1-3]. When a negative academic emotion arises due to various conditions and contexts during a learning process, learners display off-task behaviors as an active/interactive strategy to adjust to the situation and their emotions that they face with. As a result, depending on the emotions, off-task behaviors can be categorized into four types: transitory, abandoning, expressive, and resultative. A behavior of a learner is a behavioral strategy taken in order to persist the learning under an academic environment that she/he is placed in, and it can assist the learner to hold onto her/his learning. However, since learners can be eliminated from the learning process when these efforts do not positively affect their learning process, it is safe to say that one should regularly observe the off-task behaviors and control externally. Forth, in feedback design for video-based learning, the effectiveness of behavioral interference varies depending on types of feedback presentation methods (interruptive/non- interruptive feedback), [research question 2-1]. When observed by lapse of time, it was found that emotional feedback was the most effective during the early stage of learning, and the effect diminished in a process of time so that it showed no overall effect during the later stage. This trend was more prominent in the interruptive feedback group than in the non-interruptive feedback group. Also, when sorted by four types of feedback (sympathy, relaxation, recognition, and encouragement), it is observed that there was no significant difference between two groups (interruptive/non-interruptive feedback) during the early and mid-stage of learning, and that effectiveness of behavioral intervention was higher in the interruptive feedback group than the other. This result indicates that, even though the effectiveness of feedback diminished as learning time lapsed, feedbacks were effective to all learners, and that they were effective to both groups of learners during the early and mid-stage of learning. The reason that the effectiveness has decreased during the later stage of learning can be explained with the diminution of effectiveness of visual stimulation due to repetitive feedbacks. Therefore, it is needed to provide learners with various types of feedback along the learning time frame. Fifth, in feedback design for video-based learning, there is a difference in the cognitive learning effect depending on the types of presentation. Non-interruptive feedback was more effective than non-feedback, and interruptive feedback was more effective than non- interruptive feedback, both statistically significant. Non-feedback group subjects’ willingness to complete learning during the process has reduced as they were placed in a situation where they had to learn alone. On the contrary, it has been found, for the learners in interruptive and non-interruptive feedback groups, continuous stimulations, such as periodic change of display and presentation of learners’ response to learning condition on screen has boosted their cognitive learning. However, continuous stimulation not only had positive effect but also had negative effect to learners in emotional aspects, and has also triggered negative emotions. Return to learning, induced by an attraction of attention, was a positive factor that stimulated cognitive learning, and discomforts, triggered by interruptions in comfortable learning environment, led to negative sentiments. Feedbacks caused certain behaviors and attracted learners’ attention by inducing them to click feedback confirmation button. As such, the result that groups with feedback were more effective than other groups in cognitive learning provides insights in designing teaching methodologies. Sixth, usability in designing video-based leaning feedback varies with different types of presentations [research question 2-3]. In analyzing usability, feedback presentation type, sex, or interest in learning showed difference in effectiveness, and groups with interruptive feedback, female, and groups with interest in leaning showed higher intention to continuous usage. Similar to the findings stated earlier, this result implies that feedback was effective to both groups, but the group with interruptive feedback showed higher continuous usability compared to the other group. This difference can be explained by the issues in formality (number of clicks). The difference in gender seems to be arising under the influence of the characteristics of individual samples. Male subjects that participated in this research already had similar experience with video-learning. These pre-experimental experiences reduced their willingness to use the program of this research. The significance of the research is as follows: First, it discovered that in designing teaching methodologies one needs to take emotional factors into consideration and expanded the research field of online learning design context by offering the categories of off-task behaviors. Second, it is expected to offer a basis for design strategy by emphasizing the need to analyze learners’ autonomy in online learning design. Third, it is meaningful as fundamental research on a sense of reality, in a way that it verified that learners put much emphasis on a sense of reality during online learning, and that it affects the learning result during the process. Forth, it presented the theoretical foundation in emotional feedback presentation methods in designing online video learning design. However, the research has some limitations in a way that it was conducted in a controlled laboratory environment that may had emotional influence on research participants, only with limited types of feedbacks, and that it did not incorporate automated categorization technique in measuring sentiments. Nevertheless, in this research I draw behavioral types that need intervention, by analyzing learners’ emotions and off-task behaviors, which are easily neglected in online video learning process, and developed a feedback program in order to control them. Also, the research is meaningful for the educational technology, in that it provided insights in teaching methodology design by analyzing its effectiveness in various perspectives. It is expected that this research can lay various theoretical background for further education technology research in online learning development and feedback design.