멀티미디어 활용 학습에서 시각적 단서와 메타인지 수준이 인지부하 및 학업성취에 미치는 영향

Abstract

교수 매체로써 멀티미디어는 텍스트와 그림을 모두 사용한 학습자료의 실연으로, 전통적 교실 기반 학습 환경과 개방형 학습 환경에서도 다양하게 활용되고 있다. 멀티미디어 학습은 다양한 형태의 학습자료를 통해 학습자의 인지과정을 확대하고 지식구조의 체계화와 조직화를 돕지만, 교수설계 형태에 많은 영향을 받는다. 또한, 멀티미디어는 다양한 형태의 학습자료를 제시하여 학습자가 통합하고 처리해야 하는 인지처리 부담을 높인다. 따라서 학습자 인지부하는 멀티미디어 학습 설계에서 중요하게 고려되는 요소이다. 이로 인해 멀티미디어 자료 제시 방법에 따른 학습 효과성, 학습자 인지부하 감소, 멀티미디어 학습을 통한 학업성취 향상을 위한 많은 연구가 이루어지고 있다. 특히, 멀티미디어 학습자료 제시 방법은 학습자료 설계와 제시된 자료가 학습자에게 효과적으로 작용하는지 설명하기 위해 필요하다. 멀티미디어 메시지 설계 원리에 있어 신호 원리(Signaling Principle)는 핵심 내용을 부각하기 위한 적절한 단서를 제시하였을 때 학습자의 의미 있는 학습을 유도한다(Mayer & Fiorella, 2014). 단서는 학습자의 인지적 처리 과정을 돕는 내용 없는 정보로, 시각적 단서는 학습자 인지처리 및 시각 채널의 능동적 처리와 개념 탐구에 대한 정교화를 도와준다. 특히 청각적 정보와 동기화된 시각적 단서는 학습자의 인지 및 메타인지적 처리 효과성에 기여한다. 시각적 단서를 멀티미디어 설계에서 주요하게 고려할 필요가 있음에도 불구하고, 멀티미디어 콘텐츠 제시 유형을 다양하게 세분화하여 효과성을 검증한 연구는 부족하다. 멀티미디어 교수학습 설계는 인지부하이론과 이중 부호화 이론(dual coding theory), 유의미 학습에 기반한 세 가지 주요 가정을 가진다. 이들 가정에 따라 멀티미디어 교수설계의 주된 목적은 학습자가 사용 가능한 인지 용량을 초과하지 않으면서 학습자들의 효과적 인지적 처리 과정을 지원하여 학습 효과성을 높이는 데 있다. 복합적 요소가 다각적으로 상호작용하는 멀티미디어 학습에서 학습자 인지 용량 관리는 중요하게 고려되며, 인지 용량을 관리하는데 작용하는 메타인지를 주요 변인으로 고려할 필요가 있다(Scott & Schwartz, 2007). 학습자 메타인지는 학습자 간 차별화된 정보 이해 능력을 나타내며, 시각적 단서와 메타인지와의 상호작용을 통해 학습자는 인지 자원을 효율적으로 할당하여 학습 효과성을 높인다. 따라서 멀티미디어 제시 방식과 학습자 개별 특성과의 상호작용을 분석하고, 학습 유형과 성향 등을 고려한 콘텐츠를 제공할 필요가 있다. 하지만 멀티미디어 학습 환경에서 학습자 특성에 따른 학습에 대한 인지적 처리 과정은 가시적으로 확인하기 어렵다. 이에 학습분석학 맥락에서 생리심리 반응인 시각 행동과 회상자극기법을 통해 학습자의 인지적 처리 과정에 따른 인지부하를 측정하고 관리하기 위한 연구가 최근 들어 증가하고 있다. 이에 본 연구에서는 멀티미디어 활용 학습에서 청각적 정보와 동기화된 시각적 단서와 학습자 메타인지가 인지부하로 표상되는 인지적 정보처리 과정을 학습분석학적 관점에서 분석하고, 인지적 처리 결과로 나타나는 학업성취에 어떤 영향을 미쳤는지 확인하고자 한다. 객관적 인지부하 지표인 시선 고정, 시선 도약으로 구성된 시각 행동 및 동공 데이터와 주관적 평가에 따른 회상된 인지부하를 분석함으로써 해석에 신뢰성을 더하고자 한다. 이를 통해 멀티미디어 학습 콘텐츠 제시 유형과 메타인지라는 학습자 특성에 따른 인지부하 문제를 해결하는 교수학습적 처방을 마련하고자 한다. 이에 따른 연구문제는 다음과 같다. 연구문제 1. 멀티미디어 활용 학습에서 시각적 단서 제시 여부와 메타인지 수준이 학습자 인지부하에 영향을 미치는가? 연구문제 1-1. 시각적 단서 제시 여부에 따라 인지부하(시선 고정, 시선 도약, 동공 반응)에 차이가 있는가? 연구문제 1-2. 시각적 단서 제시 여부와 메타인지 수준(상, 하)의 상호작용 효과가 인지부하(시선 고정, 시선 도약, 동공 반응)에 대해 존재하는가? 연구문제 2. 멀티미디어 활용 학습에서 시각적 단서 제시 여부와 메타인지 수준이 학업성취에 영향을 미치는가? 연구문제 2-1. 시각적 단서 제시 여부에 따라 학업성취에 차이가 있는가? 연구문제 2-2. 시각적 단서 제시 여부와 메타인지 수준(상, 하)의 상호작용 효과가 학업성취에 대해 존재하는가? 본 연구는 수도권 소재 대학교 학부 학생 남녀 총 86명을 대상으로 진행되었으며, 이상치를 제거하고 최종 82명의 데이터를 분석하였다. 본 연구절차는 사전시험, PSAT 문제풀이 학습 영상 시청, 사후시험, 회상자극 인터뷰의 순서로 진행되었다. 본 연구에서는 통계분석 프로그램 R과 SPSS를 활용하여 기술통계와 차이 검정을 위한 t-test와 Mann-Whitney U-test를 시행하였다. 설명변수 간 상호작용 효과를 확인하기 위해서는 이원분산분석(Two-way ANOVA)과 일반화 선형모형(Generalized Linear Model)을 사용하여 선형 회귀분석을 실시하였다. 회상된 인지부하에 대한 내용분석을 통해 객관적 인지부하에 대한 원인을 확인하고 결과를 해석하는 데 활용하였다. 본 연구의 분석결과와 논의는 다음과 같다. 첫째, 멀티미디어 학습 화면에서 제공하는 시각적 단서가 학습자 인지부하에 영향을 미치는지 확인하기 위해 U-test를 시행한 결과, 시선 고정 횟수와 시선 고정 지속시간, 시선 도약에서 차이가 있는 것으로 나타났다. 시각적 단서가 있는 실험집단이 통제집단보다 시선 고정 횟수와 지속시간이 높게 나타났으며, 시각적 단서가 없는 통제집단의 경우에는 시선 도약이 더 많이 나타났다. 학업성취 결과에서는 실험집단이 통제집단보다 더 높은 성취가 나타났다. 즉, 멀티미디어 학습에 있어 시각적 단서는 학습자들의 필수 학습자료에 대한 주의집중을 지원하고, 시각적 단서가 제공되지 않는 경우에는 교수자가 제공하는 정보와 동일한 내용을 학습자료에서 찾기 위한 탐색 행위가 많이 발생함과 동시에 학업성취 효과가 감소 되는 것을 확인하였다. 회상자극 인터뷰 내용 분석 결과, 시각적 단서가 제시되지 않은 집단은 교수자 음성에만 의지하여 학습하는 것에 어려움을 느꼈으며, 교수자가 설명하는 부분이 어디인지 혼란을 겪었다. 따라서 멀티미디어 학습에 있어 시각적 단서를 제시하는 것이 학습자의 주의집중을 지원하여 학습자의 외재적 인지부하 감소에 기여한다는 것을 확인하였다. 둘째, 학습자 메타인지 수준이 인지부하에 영향을 미치는지 확인하기 위해 U-test를 시행하였다. 그 결과 시선 고정 횟수, 시선 고정 지속시간, 동공 반응에서 차이가 있는 것으로 나타났다. 메타인지 수준 상 집단에서 시선 고정 횟수와 지속시간이 높게 나타났으며, 메타인지 수준이 낮은 집단의 경우에는 동공 확장이 더 크게 나타났다. 멀티미디어 학습에서 학습자 메타인지 수준이 높은 경우 주의집중을 통한 많은 인지적 처리가 가능하며, 메타인지 수준이 낮은 학습자들은 인지 용량을 관리하는 것에 어려움을 겪어 인지부하가 많이 발생한 것임을 확인하였다. 학습자 메타인지 수준별 학업성취를 분석한 연구결과, 멀티미디어 학습 후 메타인지 수준이 낮았던 집단이 메타인지 수준 상 집단에 비해 학업성취 평균은 높았으나, 메타인지 수준에 따른 학업성취에 대한 차이는 확인할 수 없었다. 셋째, 전체 학습 구간에서 시각적 단서 제시 여부와 메타인지 수준에서 시선 고정 횟수와 지속시간, 동공반응에 대한 상호작용 효과는 없었다. 시선 도약 횟수에서는 시각적 단서 제시 여부와 메타인지 수준에 따른 상호작용 효과가 있는 것으로 나타났다. 시각적 단서 제시 여부와 메타인지 수준의 상호작용 효과로 인한 학업성취는 메타인지 수준이 낮고, 시각적 단서 없이 학습을 한 연구대상자의 학업성취 정도가 가장 낮았으며, 메타인지 수준은 낮지만 학습 중 시각적 단서를 제공 받은 학습자는 높은 학업성취를 나타냈다. 따라서 메타인지 수준이 낮은 학습자에게 시각적 단서 제시 여부가 학습자 학업성취에 유의한 영향을 미친다는 것을 설명한다. 회상된 인지부하 내용 분석 결과에서 시각적 단서가 없는 학습 환경에 참여한 메타인지 수준이 낮은 학습자는 학습 중 지루함과 집중력 저하를 느꼈다는 응답으로 강한 외재적 인지부하를 경험했음을 확인하였다. 또한, 본유적 부하 생성에 있어 시각적 단서 제시 여부와 메타인지 수준에 따른 상호작용 효과에 대해서도 차이를 보임을 확인할 수 있었다. 본 연구의 시사점은 다음과 같다. 첫째, 멀티미디어 학습에서 학습자 인지부하에 영향을 미치는 요소는 학습 내용과 학습 환경, 학습자 특성 등 다양하게 구성되어 있으며, 이들 요소는 복합적으로 상호작용한다는 점을 발견하였다. 따라서 교수학습적 문제 원인과 결과를 해석함에 있어 학습자에게 주어진 매체와 학습 내용, 학습자가 학습에 참여하는 상황과 개별 학습자 특성에 따른 요소들이 총체적으로 작용한다는 것을 고려할 필요가 있음을 시사한다. 둘째, 멀티미디어 콘텐츠 제시방법의 세분화로 교육인프라 수준이 낮은 환경에서도 다양한 교수학습적 처방을 제공할 수 있음을 시사하였다. 본 연구에서는 텍스트와 이미지 중심의 멀티미디어 학습에서 세밀한 처치로 학습자별 학습 효과가 달리 나타나는 것을 확인하였다. 따라서 비용과 기술 등의 인프라 부족으로 학습자 특성별 교수학습을 제공하기 어려운 개발도상국과 같은 교육 환경에서도 학습자 맞춤형 교육을 제공할 수 있다는 시사점을 제공한다. 셋째, 멀티미디어 설계 이론에 기반하여 시각적 단서와 학습자의 외재적 인지부하와의 관계를 실증적으로 규명하였다. 본 연구는 시각적 단서가 학습자의 인지적 정보처리 과정에서 외재적 인지부하를 감소시키며, 학습자의 주의집중과 수행 결과에 미치는 영향을 실험을 통해 확인하였다. 또한, 시각적 단서가 항상 학습자의 외재적 인지부하를 감소시키지 않으며, 학습자 특성에 따라 적절하게 제공해야 한다는 시사점을 제공하였다. 넷째, 학습자 특성별 멀티미디어 교수학습 설계에 대한 시사점을 제공하였다. 본 연구는 멀티미디어 학습 효과성에 영향을 미치는 메타인지라는 학습자 특성이 인지부하에 미치는 영향을 확인하고, 메타인지 수준별 영향을 실증적으로 규명하고자 하였다. 메타인지는 학습자들의 인지적 경험과 지식을 활용하여 정보처리 수준에 영향을 미치고, 과제해결 능력과 학습 참여 행동에 차이를 유발하는 것을 발견함으로써, 멀티미디어 교수 메시지 설계 시 학습자 메타인지 수준을 고려하여 자극물과 학습 매체를 제공할 필요가 있다는 시사점을 제공한다. 다섯째, 본 연구는 교육공학의 연구 영역을 넓혔다. 기존의 많은 인지부하 연구와 달리 본 연구는 학습자 시각 행동과 동공 반응이라는 객관적 인지부하 지표와 회상자극기법을 통한 학습자의 회상된 인지부하로 주관적 평가를 더하여 데이터 분석 결과에 있어 신뢰성을 마련하였으며, 일반화 선형모형(Generalized Liner Model)을 사용하여 선형 회귀분석의 장점을 유지하면서 고전적 선형모형으로 분석하기 어려운 데이터 간 상호작용을 설명할 수 있도록 하였다는 점에서 인지부하 측정과 분석 영역을 확대했다는 의미를 가진다. 여섯째, 데이터 맞춤형 분석 모형의 필요성을 시사하였다. 전체구간을 문제 구간별로 세분화할수록 분석 결과에서 변인 영향력을 확인하기 어려웠다. 학습 내용과 교수자의 강의 수준 및 방식이 동일한 수준이 아니고, 비정규성 데이터를 분석함에 있어 해당 구간에 적합한 분석 모델을 적용할 필요성을 제시하였다 본 연구의 제한점과 후속연구를 위한 제언은 다음과 같다. 첫째, 본 연구에서 인지부하를 표상하는 동공 반응으로 자극물별 인지부하 차이를 객관적으로 확인하기 어려웠다. 이는 학습자가 경험한 외재적 인지부하가 시각적 단서에 의한 자극 외에 교수자의 음성, 강의 방식, 실험 외부 환경으로 인한 외재적 인지부하가 더 컸기 때문이다. 따라서 멀티미디어 학습 자극물에서 시각적 단서에 따른 외재적 인지부하를 측정하고 차이를 확인하기 위해서는 규명하고자 하는 설명변수 외의 다른 외적인 요소들을 통제할 필요가 있다. 둘째, 본 연구는 실험 연구로 자연적인 학습 상황이 아니기에 실제 멀티미디어 학습 환경에 일반화하기에는 어려움이 있다. 학습자들은 실험 중 본인의 평소 학습 태도 및 학습 방법을 온전히 반영할 수 없었으며, 아이트래커 사용으로 인한 필기의 제한으로 인한 외적 불편함과 주의집중의 어려움을 경험했다. 후속연구에서는 외적 불편함을 감소시키고, 학습자의 평소 학습 상황을 반영할 수 있도록 보다 실제적인 멀티미디어 학습 환경을 조성할 필요가 있다. 셋째, 자극물 설계 시 학습자에게 익숙한 주제 또는 일반적인 정보 전달 위주의 강의를 제공함으로써 높은 내재적 인지부하 발생을 방지할 필요가 있다. 학습자들은 학습 콘텐츠와 실험 전반 주제에 대한 생소함으로 인해 높은 내재적 인지부하를 경험하였다. 후속연구에서는 학습자의 흥미와 주의집중을 유지할 수 있도록 보다 익숙한 주제의 강의를 제공하는 것이 제안된다. 넷째, 생리심리 데이터를 사용한 양질의 분석결과를 도출하기 위해 다양하고 적절한 분석 방법을 모색할 필요가 있다. 생리심리 데이터는 정보가 방대하면서 복잡하고 비정형적 구조로 인해 규칙성을 찾기 어려워 분석에 제한이 생길 수 있다. 따라서 후속연구에서는 비모수적 방법으로 변수 간 상호작용을 설명 가능한 머신러닝과 같이 다양한 분석 방법을 모색하는 것을 제안하는 바이다.;Multimedia, which is used as a teaching medium, is a demonstration of learning materials using both text and pictures, and is widely used in traditional classroom-based learning environments and open learning environments. Multimedia learning expands the cognitive process of learners and helps systematize and organize knowledge structures, but is greatly influenced by the design of teaching. And multimedia presents learning materials in various types , increasing the cognitive processing burden that learners have to integrate and process. Therefore, learner cognitive load is an important factor in multimedia learning design. Therefore, many studies have been conducted to improve the effectiveness and to reduce learner cognitive load by presenting multimedia method, and to improve academic achievement through multimedia learning. In particular, the method of presenting learning materials is necessary to explain the effectiveness of the presented materials and the design. In the principle of multimedia message design, Signaling Principle explains that it induces meaningful learning when appropriate elements cues are presented to highlight the structure of key content (Mayer & Fiorella, 2014). A cue is the information without content that helps learners' cognitive process, and visual cues by helping learners' cognitive process and elaboration of visual channels' active processing and conceptual exploration contribute to the learner's cognitive and metacognitive processing effectiveness. Therefore, although it is necessary to consider visual cues in multimedia design, there is a lack of research to validate their effectiveness by varying the types of multimedia content presentation. Multimedia teaching and learning design has three main assumptions based on cognitive load theory, dual coding theory, and meaningful learning. Based on these assumptions, The main purpose of multimedia instructional design is to increase the learning effectiveness by supporting the learners' effective cognitive processing without exceeding the available cognitive capacity. In multimedia learning where multiple elements interact in multiple ways, learner cognitive capacity management is considered importantly, and metacognition, which acts to manage cognitive capacity, needs to be considered as the main variable (Scott & Schwartz, 2007). Metacognition indicates differentiated information comprehension ability and learners allocate cognitive resources effectively to enhance learning effectiveness through interaction between visual cues and metacognition. Therefore, it is necessary to analyze the interaction between multimedia presentation method and individual characteristics of learners, and to provide contents considering the learning type and tendencies. However, in multimedia learning, it is difficult to visually identify the cognitive process based on learner characteristics. In recent years, research using stimulated recall and analyzing visual behavior has increased to measure and manage cognitive loads in the context of learning analytics. This study analyzes the effects of visual cues and learner metacognition on cognitive load and academic achievement in multimedia-based learning. Adding reliablity to interpretation by analyzing gaze fixation, saccade, pupil data and stimulated recall. This study presents a solution to cognitive load problem by learner's characteristics such as metacognition and the type of content presentation.. Accordingly, the research questions are as follows. Research question 1. Do visual cues and metacognitive levels affect learner's cognitive load in multimedia-based learning? Research question 1-1. Does the visual cue of multimedia affect learner's cognitive load? Research question 1-2. Do the visual cues and levels of learner's metacognition in multimedia-based learning have an interactive effect affecting learner's cognitive load? Research question 1. Do visual cues and metacognitive levels affect learner's achievement in multimedia-based learning? Research question 2-1. Does the visual cue of multimedia affect learner's achievement? Research question 2-2. Do the visual cues and levels of learner's metacognition in multimedia-based learning have an interactive effect affecting learner's achievement? This study was conducted on total of 86 male and female undergraduate students in the Seoul metropolitan area, and the data of 82 students were analyzed after removing outliers. The procedure was conducted in the order of pre-test, watching PSAT problem-solving video, post-test, and stimulated recall interview. The collected data were analyzed using, statistical programs R and SPSS, which performed the descriptive statistics, t-test, Mann-Whitney U-test, two-way ANOVA and a linear regression analysis of the Generalized Linear Model. The contents analysis of recalled cognitive load was used to identify the cause of the objective cognitive load and to interpret the results. The analysis results and discussions of this study are as follows: First, there was a difference in the count of fixation, duration of fixation, and the count of saccade. The experimental group with visual clues showed more fixation counts and duration than the control group, and the control group without visual clues showed more saccade. Academic achievement showed that experimental groups performed better than control groups. In other words, visual clues help learners to pay attention to essential learning materials, and in the absence of visual cues, it could be found that there were many explorations to find information provided by the instructor, and reduced academic achievement effects. As a result of the interview analysis, the control group had difficulty to learn by relying only on the instructor's voice, and confused on finding instructor's explanation part. Therefore, it was confirmed that presenting visual clues in multimedia contributes to reducing extraneous cognitive load by supporting learner's attention. Second, there was a difference in the count of fixation, duration of fixation, and pupil size. The count and duration of fixation were higher in groups with high metacognition levels, and the pupil size was bigger in the group with low metacognition levels. When the learner's metacognition level is high, more cognitive processes are possible through attention, and the learners with low metacognition levels have difficulty for managing their cognitive capacity, and it is confirmed that a lot of cognitive load occur. As a result of analyzing the academic achievement by learner's metacognition levels, there was no difference in the academic achievement. Third, there are no interaction effect on the count and duration of fixation and pupil response depending on visual cues and metacognition level in the whole learning section. In the count of saccade, an interaction effect depending on presenting visual cue and metacognition level. Academic achievement due to interaction effect was the lowest when learners with low metacognition levels learned without visual cues. On the other hand, learners who received visual cues even with low metacognition levels had high achievement. Therefore, for learners with low metacognition levels, explain that visual cues influence academic achievement. As a result of the recalled cognitive load analysis, learners with low metacognition levels who participated in a learning environment without visual clues felt boredom and decreased concentration during learning. This explains that learners experienced a strong extraneous cognitive load. In addition, there was a difference in the interaction effect of visual cues and metacognition levels in the generation of germane loads. The implications of this study are as follows. First, factors that affect learner's cognitive load in multimedia learning are various, such as learning content, learning environment, and learner characteristics. And this study found that these elements interact in a complex way. Thus, in interpreting the causes and effects of pedagogical problems, it suggests that factors such as learning media, content, engagement situation, and individual learner characteristics need to be considered collectively. Second, It suggested that the segmentation of multimedia content presentation methods could provide various instructional learning prescriptions even in environments with low infrastructure levels. In this study, it was confirmed that the learning effect for each learner is different with small treatment in multimedia learning. Therefore, it provides the implication that it is possible to provide customized education for learners even in developing countries that lack infrastructure such as cost and technology. Third, based on multimedia design theory, the relationship between visual cues and learner's extraneous cognitive load was empirically investigated. This study confirmed the effect of visual clues on reducing the extraneous cognitive load and affecting learners' attention and achievement. Since the visual cue does not always reduce the extraneous cognitive load, it also suggested that cue should be appropriately provided depends on the learner's characteristics. Fourth, this study empirically investigated the effect of a learner's characteristic of metacognition on cognitive load, which affects multimedia learning effectiveness. It has been found that metacognition affects the level of learners' information processing, and their task-solving skills and learning behavior. This suggests that it is necessary to provide a learning medium considering the levels of learner's metacognition. Fifth, it expanded the research area of educational technology. This study used the objective cognitive load indicators of learner's visual behavior and pupil response and the subjective assessment with the learner's recalled cognitive load to provide reliability in data analysis results. By explaining the interactions between the data that are difficult to analyze with the linear regression of Generalized Liner Model, the measurement and analysis area for cognitive load has been expanded. Sixth, it suggested the need for a data-customized analysis model. As the entire section was subdivided into sections, it was difficult to identify the variable influence in the analysis results. In particular, in analyzing non-normal data, it was suggested that an appropriate analysis model should be applied to subsection. The limitations of this study and suggestions for future study are as follows. First, it was difficult to objectively identify cognitive load differences by visual cues in the pupil response representing cognitive loads in this study. This is because, in addition to visual cues, the extraneous cognitive loads, such as the instructor's voice, teaching types, and experimental environment, were greater. Thus, it is necessary to control external factors other than visual cues. Second, since this study was conducted as an experimental study, it is difficult to generalize in the actual multimedia learning environment. During the experiment, learners could not fully reflect their usual learning attitudes and methods, and felt uncomfortable because they could not take notes due to eye-tracker. In future studies need to create a more practical learning environment to reduce external discomfort and reflect the learner's usual learning conditions. Third, learning stimuli should be structured with familiar subjects to learners or focused on general information delivery to prevent high intrinsic cognitive loads. Learners experienced a high intrinsic cognitive load due to unfamiliarity with learning content and subjects. In future studies are suggested providing lectures on familiar topics to maintain learners' interest and attention. Fourth, in order to derive quality analysis results using psychophysiological data, it is necessary to explore various and appropriate analysis methods. Psychophysiological data has a vast amount of information and a complex and irregural structure, making it difficult to find regularity. Therefore, a follow-up studies are proposed to explore various analytical methods, such as machine learning, which can explain interactions between variables in a nonparametric way.