컴퓨터 기반 문제풀이 환경에서 문제양식(problem-modality), 과제복합도 수준에 따른 인지부하, 학업성취도 간의 관계

Abstract

평가의 궁극적 목적은 학생의 학습수준을 정확하게 파악하고 이를 바탕으로 학습수준에 적합한 교육을 하기 위한 것이다(한순미, 2008). 학습자의 현재 학습수준을 파악하기 위해서는 학습 결과뿐만 아니라 학습 과정도 면밀하게 살펴보아야 한다. 현대사회에서는 학습자가 학습에서 보이는 수많은 행동을 데이터로 수집하고, 수집된 데이터를 기반으로 정밀하게 분석하여 학습 과정을 객관적으로 이해하는 데 활용하기 위한 학습분석학(Learning Analytics)이라는 새로운 학문이 나타났다. 초기의 학습분석학은 데이터 마이닝(data mining)에 초점을 두었다면, 최근에는 데이터 분석을 통한 예측에서 더 나아가 교수-학습적 처방을 목적으로 하는 다양한 범위로의 연구로 관심이 확장되고 있다. Kirschner(2016)는 학습분석학의 지속적 발전을 위해 나아가야 할 방향은 데이터 분석에서 그치는 것이 아니라, 분석 결과를 다시 현장에 적용하는 것이라는 사실을 강조했다. 이러한 측면에서 볼 때, 평가의 궁극적 목적과 학습분석학이 추구해야 할 방향은 일치하며, 학습자의 성취 향상을 위한 평가의 궁극적 목적을 달성하기 위해 학습분석학을 기반으로 하는 연구의 필요성이 제기된다. 한편, 컴퓨터 및 정보통신기술의 발달과 더불어 다양한 분야에서 컴퓨터를 이용하는 평가를 제작하고 시행하는 빈도가 점차 증가하고 있다(임은정 외, 2008). 컴퓨터기반평가는 전통적인 지필 기반 평가를 대체할 수 있는 평가도구로 인정받고 있다(Hwang, Yin, & Yeh, 2006). 이러한 인정에도, 사용자가 컴퓨터 화면 내 제시된 평가 문항을 어떻게 해결하는지에 대한 과정을 다루는 연구는 찾아보기 어렵다. 이러한 현상의 원인 중 하나로 측정 기기의 미발달을 들 수 있다. 그러나 현대사회는 소프트웨어와 하드웨어의 비약적인 발전으로 인해 컴퓨터 기반평가 내에서 사용자의 학습 행동을 실시간으로 수집하는 것이 가능해졌으며, 수집한 빅데이터를 저장 및 분석하는 것이 용이해졌다. 그렇기에 현재 시점이 이러한 연구를 시작해야 할 시기이며, 의미있는 연구가 될 것이다. 고도의 연결성을 의미하는 4차 산업혁명 시대가 도래한 지금, 발생하는 대부분 문제는 과제복합도가 높으며, 이를 해결하기 위해서는 보다 높은 수준의 인지처리 과정이 지속해서 요구되고 있다. 학교 교육 현장에서도 학습자에게 복잡한 인지처리과정을 요구하는 과제복합도가 높은 과제를 통해 학습을 진행하고 있다. 이러한 점을 고려하면, 다양한 문제양식(problem-modality)의 복합적 과제를 해결하는 과정에서 나타나는 인지부하의 변이를 측정하고 이에 따른 교수-학습적 처방에 주목할 필요가 있다. 이에 본 연구에서는 학습자의 인지 구조에 따라 효과적인 학습 설계를 위한 지침을 제공하는 인지부하이론을 기반으로 하여, 문제양식과 과제복합도 수준에 따른 인지부하의 변이를 생리심리데이터 중 시각 데이터를 활용하여 탐구하고자 하였다. 최종적으로 측정된 인지부하가 학업성취도를 예측하는지를 알아보고자 하였다. 이를 위해 세 가지 문제양식과 두 가지 과제복합도 수준에 따라 공직적격성테스트(PSAT; Public Service Aptitude Test) 기출 문항 일부를 선정하였고, 인지부하의 차이를 탐구하였다. 공직적격성테스트는 2018년 현재를 기준으로 5급 공개경쟁채용시험과 외교관후보자 시험, 7급 지역인재 견습 공무원 선발에 시행되고 있으며, 2022년부로 7급 공개경쟁채용시험에도 도입될 계획이다. 매년 약 4만 명이 응시하는 대규모 국가시험으로 국가 공무원을 선발하기 위해 엄선하여 제작하며 현대사회의 다양한 주제에 대해 폭 넓게 다루고 있다. 이와 같은 문제를 푸는 과정에 인지부하의 변이를 측정함으로써 복잡한 문제를 풀 때의 과정을 분석하고 더 나은 학습 결과를 위해 적절한 처치를 고안하는 기초자료로 제공하고자 한다. 이에 본 연구는 학습자가 컴퓨터 기반 문제풀이 환경에서 과제 특성인 문제양식과 과제복합도에 따라 나타나는 학습자의 시각행동의 분석을 통해 인지부하에 차이가 있는지를 검증하고, 측정된 인지부하가 학업성취도를 예측할 수 있는지를 탐색하였다. 이를 위한 구체적인 연구문제는 다음과 같다. 연구문제 １. 컴퓨터 기반 문제풀이 환경에서 인지부하 지표변수(시선고정 지속시간, 동공크기 변화량)에 있어 문제양식에 따라 차이가 있는가? 연구문제 ２. 컴퓨터 기반 문제풀이 환경에서 인지부하 지표변수(시선고정 지속시간, 동공크기 변화량)에 있어 과제복합도 수준에 따라 차이가 있는가? 연구문제 ３. 컴퓨터 기반 문제풀이 환경에서 인지부하 지표변수(시선고정 지속시간, 동공크기 변화량)가 학업성취도를 예측하는가? 연구문제 1에서는 세 가지의 문제양식에 따라 학습자의 인지부하의 차이를 생리심리데이터인 시선고정 지속시간과 동공크기 변화량으로 검증하였다. 연구문제 2에서는 높고 낮은 과제복합도에 따라 학습자의 인지부하의 차이를 연구문제 1과 같은 방식으로 검증을 수행하였으며, 연구문제 3에서는 앞서 연구문제 1, 2에서 측정된 학습자의 인지부하 지표변수가 학업성취도를 예측하는 지를 검증하였다. 본 연구에서는 수도권 소재 대학교에 재학 중인 남·여 대학생 84명의 데이터를 연구에 사용하였고, 1회에 걸쳐 컴퓨터 기반 환경에서 본 검사 문항을 풀이하였으며, 실험 과정 동안에 안구운동과 동공반응 측정을 진행하였다. 연구대상자는 남성은 35명(42%), 여성은 49명(58%)이었고, 평균 연령은 만 22.8세(SD = 2.2)이다. 인문계열은 34명(40%) 이공계열은 46명(55%), 예체능계열은 4명(5%)이다. 본 검사의 문항은 공직적격성테스트(PSAT) 기출 문항에서 추출하였다. 텍스트로만 이루어진(TO; Text-Only) 언어논리 유형의 두 문항, 텍스트와 도표로 이루어진(TP; Text-Picture) 자료해석유형의 두 문항, 그림으로만 이루어진(PO; Picture-Only) 상황판단유형의 두 문항으로, 총 6문항으로 구성하였으며, 과제분석을 통해 요소와 요소 상호작용의 수를 더하여 과제복합도의 수준을 상·하로 구분하였다. 실험 종료 후, 안구운동과 동공반응을 분석하고자 Tobii Pro Studio에서 데이터를 추출하였으며, 정상 범위에 근거하여 이상치를 제거하고 데이터의 결측치를 점검하여 기본적인 전처리를 하였다. 그 후 연구대상자의 기본정보 파악을 위해 기초통계분석을 실시하였으며, 측정된 인지부하 지표변수가 문제양식과 과제복합도에 따라 어떤 차이가 있는가를 분석하기 위해서는 이원분산분석(two-way ANOVA)을 활용하였다. 상호작용효과 외에 주효과를 보기 위해 문제양식과 인지부하 지표변수, 과제복합도와 인지부하 지표변수의 일원분산분석(one-way ANOVA)을 실시하였고, 사후 검증은 Tukey 검증을 실시하였다. 마지막으로, 측정된 인지부하 지표변수가 학업성취를 예측하는지를 분석하기 위해서는 선형회귀분석을 실시하였다. 본 연구의 결과와 논의점을 요약하면 다음과 같다. 첫째, 문제양식에 따라 동공크기 변화량으로 측정한 인지부하 지표변수에 차이가 나타났다(F = 6.34, p〈.05). 본 검사의 문제양식에 따라, 문자만 주어진 경우(TO), 이미지만 주어진 경우(PO), 문자와 이미지가 모두 주어진 경우(TP)의 문제양식 간의 측정된 인지부하 지표변수에 유의한 차이가 있었다. 이는 학습자가 문제양식에 따라 문제를 인식하고 풀어내는 과정에서 인지부하 지표변수가 다르다는 것을 의미한다. 즉, 학습자가 문자와 이미지의 정보를 읽어내고, 문제를 해결하기 위해 사고하는 것에 차이점이 있다는 것이며, 학습자에게 문제양식에 따라 다른 교육적 처치가 필요하다는 것을 의미한다. 둘째, 높고 낮은 과제복합도에 따라 시선고정 지속시간(F = 0.67, p〉.05), 동공크기 변화량(F = 0.53, p〉.05)으로 측정한 인지부하 지표변수에 유의한 차이가 나타나지 않았다. 학습자의 본 검사 성취도 데이터를 보면, 과제복합도의 높고 낮음에 관계없이 문항별 정답자의 도수가 비슷한 것을 알 수 있었다. 이는 과제분석의 결과 구성요소의 수와 상호작용의 수는 과제복합도가 높은 문제가 더 높았으나, 학습자가 느끼기에는 비슷한 수준이었다는 것으로 해석된다. 해당 연구의 본 검사는 2018년 10월 현재를 기준으로 5급 공개경쟁채용시험과 외교관후보자 선발 등에 시행되는 공직적격성테스트에서 추출하였기에 기본적으로 높은 과제복합도를 가지고 있고, 이를 공무원 시험을 준비해 본 경험이 없는 일반 대학생이 풀어내기에는 전반적으로 과제복합도가 높았던 것으로 파악된다. 셋째, 시선고정 지속시간(R2 = .0012), 동공크기 변화량(R2 = .0036)으로 측정된 인지부하 지표변수는 학업성취도를 예측하지 못하였다. 본 검사의 문항이 여섯 문항으로 학업성취도를 엄밀하게 측정하기에는 그 수가 작았으며, 검사의 유형이 객관식이었기에 학습자가 문항을 이해하고 문제를 풀었는지 명확히 알 수 없다는 한계점이 있었다. 본 연구는 다음과 같은 의의가 있다. 첫째, 생리심리측정법을 통해 학습자의 인지부하를 객관적으로 측정하였다. 둘째, 문제유형 간에 학습자의 인지부하 지표변수에 차이가 있음을 밝혔다. 셋째, 컴퓨터 기반 문제풀이 환경에서 과제복합도가 높은 문항의 인지부하를 측정하기 위한 지표변수를 검증하였다. 마지막으로 본 연구의 제한점에 따른 후속연구 방향은 다음과 같다. 첫째, 학습 과정의 인지부하의 변이를 볼 수 있는 시계열 데이터의 분석 기법의 활용이 필요하다. 둘째, 문제 양식 간의 매체(medium)를 학습자가 어떻게 인지하는지에 대해 추가적 분석이 필요하다. 셋째, 인지부하를 보다 자세히 측정하기 위한 객관적 측정방법과 주관적 측정방법을 고르게 사용하는 다면적 접근이 필요하다. 넷째, 인지부하를 최적화하여 교수-학습 환경을 개선하기 위해서는 인지부하의 유형을 구분하여 측정할 수 있는 후속 연구가 필요하다.;The ultimate aim of evaluations is to accurately grasp the level of the students´ learning and to provide education in accordance to one’s level(Han, Soonmi, 2008). In order to understand the learner's present level of learning, both the learning process and the results should be closely examined. In this modern society, a new field of study named Learning Analytics has emerged to objectively comprehend the examined learning process of students collected from the students´ behavior patterns in the course of learning. While early Learning Analytics concentrated on data mining, the focus has evolved from predictions through data analysis to a wider range of researches regarding teaching-learning measures based on data analysis. Kirschner(2016) emphasized that the for the sake of further advancement of Learning Analytics not only should the data be analyzed but also the result of the analysis should be applied back into the field. In this respect, the terminal goal of evaluation and the direction that Learning Analytics need to pursue are consistent. Hence, it accounts for the need of research based on Learning Analytics in order to enhance the achievement of learners and attainment of the ultimate goal of evaluation. Meanwhile, with the development of computers and information and communications technologies, the Computer Based Test have been utilized more frequently in various fields(Im Eunjeong et al., 2008). In this regard, Computer Based Test is being recognized as a legitimate evaluation tool that can replace traditional paper-based test(Hwang, Yin, & Yeh, 2006). Despite this consensus, few studies have been conducted on the how users process to solve problems on a computer screen. The rapid development of software and hardware allowed the modern society to observe and to store students´ learning patterns during the Computer Based Test in real time, and analyze the collected big data. Hence, the time has come for such research is performed and it will be a meaningful. In this era of the Fourth Industrial Revolution, which suggests high degree of connectivity, most tasks have high task complexity, and therefore demand a high level of cognitive processing. As for the school education, lessons include projects and tasks involving high task complexity which requires a higher level of cognitive processing. Taking these into consideration, it is necessary to pay attention to the change in cognitive load in the process of solving complex tasks with various problem-modality and give proper teaching-learning measures according to them. Based on Cognitive Load theory which provides guidelines for effective learning design regarding learner’s cognitive structure, this research employs the visual data from psychophysiological data to show changes in the level cognitive load according to a problem-modality and task complexity, and finally to examine if the observed cognitive load can predict the academic achievement. To do this, a portion of the Public Service Aptitude Test(PSAT) with three problem-modality and two levels of complexity were selected to explore the difference in the level of cognitive load in the course of solving these tasks. The Public Service Aptitude Test is conducted for the employment of Grade 5 civil officers, diplomats, and Grade 7 Reginal Talent Apprenticeship officer. It is arranged to be conducted for the civil service examination of the Grades 7 in 2022. This national exam is carried out in large-scale―taken by 40,000 people. The questions are carefully selected in order to hire eligible public officers, and thus are considered to cover comprehensive topics of modern society and have a high level of difficulty. This research aims to design proper treatments to enhance the learners’ performance by measuring and analyzing the variations in cognitive load in the process of solving these complex tasks. In this study, we investigated if there is a difference in cognitive load by analyzing the learner’s visual activity in accordance to the problem-modality and the task complexity, the characteristics of tasks, under the computer-based problem solving environment to confirm if the observed cognitive load can predict learners´ academic achievements. Specific research topics are as follows: Research problem 1. Is there a difference in cognitive load index variables(the fixation duration and change in the pupil size) depending on the problem-modality in a computer-based problem solving learning environment? Research problem 2. Is there a difference in the cognitive load index variable (the fixation duration and change in the pupil size) according to the task complexity in a computer-based problem solving learning environment? Research problem 3. Does the level of cognitive load index variables (the fixation duration and change in the pupil size) predict the academic performance in a computer-based problem solving learning environment? For the Research problem 1, the difference in the learners' cognitive load index variable was verified by the psychophysiological data, the duration of gaze fixation and changes in pupil size, for three types of problem-modality. As for the Research problem 2, the difference of learner's cognitive load index variable according to the high and low task complexity was verified in the same way as the research problem 1. For the research problem 3, the collected data from the Research problems 1, and 2 were employed to corroborate if the measured learners' cognitive load can foretell their level of academic achievement. In this study, there participated 84 male and female college students attending universities in the capital region, and they each took one computer-based problem solving while their eye movements and pupil responses were measured during the experiment. The subjects of study were 35 males(42%) and 49 females(58%) and the average age was 22.8 years old(SD = 2.2). The number of subjects majoring in Liberal Arts department was 34(40%), and Science and Engineering department was 46(55%). The items of this test were extracted from the PSAT. The test consists of six problems: two items of the Text-Only Linguistic Logics type, two items of the Text-Picture Data Interpretation type, and a Picture-Only Situation Judgment type. The upper or lower task complexity of items was classified using task analysis which counts the number of elements and the element interaction of items. After the experiment, data were extracted from Tobii Pro Studio to analyze eye movements and pupil responses. The anomalous values ​​were removed based on the normal range, and basic preconditioning was performed by checking the missing values ​​of the data. Then Basic Statistical Analysis was conducted to have a general idea of subjects’ personal data. The Two-way ANOVA was used to analyze the differences in the measured cognitive load index variables according to the problem-modality and complexity of the task. The One-way ANOVA was conducted on problem-modality along with cognitive load index variables, and task complexity with cognitive load index variables in order to measure the effect of each variable apart from their interaction effect. Finally, Linear Regression Analysis was performed to analyze whether the measured cognitive load predicts academic achievement. The summary of results and discussions of this study are as follows: First, there was a difference in the cognitive load index variables depending on the problem-modality. There was a significant difference in the measured cognitive load index variable among the problem-modalities: Text-Only, Picture-Only, and Text-Picture. This suggests that learners have different cognitive load index variables in the process of recognizing and solving problems with different problem-modalities. In other words, it indicates that different cognitive process takes place when a learner reads a text and when one sees images in order to solve problems. Hence, it implies that different pedagogical treatments are necessary for different problem-modalities. Second, there was no notable difference in the cognitive load index variables in relation to the task complexity. The results of the learner’s test achievement showed similar scores regardless of the complexity of the tasks. The results suggest that learners perceived task complexity among questions to be close to equal although the number of components and the number of interactions were higher in tasks with high task complexity. The questions selected in this study were from The Public Service Aptitude Test for the employment of Grade 5 civil officers, and diplomats, and thus had high task complexity overall for average university students with no experience of preparing for such examination. Third, the measured cognitive load index variables did not predict the academic achievement. Using only six problem was not enough to accurately measure the academic achievement of learners. Furthermore, given that the questions were multiple-choice questions, it was not feasible to fully understand if the learners had solved the problems after comprehending them thoroughly. This study has following significances. First, cognitive load of learners was measured objectively through psychophysiological method. Second, a difference in learners' cognitive load index variables exists depending on problem-modalities. Third, the index variables were verified to measure the cognitive load of items with high complexity in computer-based problem solving environment. Finally, the limitations of this study are as follows. First, it is necessary to use Time Series Analysis technique to see the variation of cognitive load of learning process. Second, additional analysis is required on how learners perceive the medium between problem-modality. Third, a multifaceted approach using both subjective and objective measurement methods is needed to more closely measure cognitive load. Fourth, in order to improve the teaching-learning environment by optimizing the cognitive load, a follow-up research is necessary which can measure the type of cognitive load.