온라인 학습 환경에서 수학불안에 따른 수행효율성의 차이

Abstract

교육공학은 인간 학습 촉진과 수행 증진을 위한 체제적 처방 제공이라는 목적 하에 시대적 발전과 함께 공진화해오고 있다. 이러한 목적 달성을 위해 교수 설계가 추구하는 소목적 중에는 효율성(efficiency)이 있다. 효율성이란 투입한 자원 대비 산출된 성과를 의미한다. 교수설계적 관점에서 성과란 교수설계가 궁극적으로 향상시키고자 하는 학습자의 성취도이다. 이러한 성취도를 높이기 위해서 학습자는 시간, 학습량 등 여러 자원을 투입하게 된다. 이 중 학습의 본질에 가장 부합하는 자원은 학습자의 내적인 인지 자원이다. 학습자의 내적인 인지 자원에 대해 설명하는 체계적인 이론으로 인지부하 이론이 있다. 측정되지 않으면 관리할 수 없다는 Drucker(1993)의 통찰에서 알 수 있듯이 효율성을 고려하여 교수설계적 처방을 제공하기 위해 효율성을 측정하는 것은 매우 중요하다. 특히 동일한 학습자일지라도 학습 과정에서 학습자가 투입하는 인지 자원은 교수설계, 학습내용, 시간의 흐름 등에 따라 매순간 변화하므로 정교화된 교수설계와 개인화된 처방을 제공하기 위해서는 실시간으로 정확하게 인지 자원을 측정하는 것이 필요하다. 실시간으로 학습자의 인지 과정을 객관적으로 측정하기 위해서는 생리심리 데이터를 활용한 학습분석학적 접근이 필요하다. 학습분석학(learning analytics)은 테크놀로지가 매개하는 학습 환경에서 발생한 데이터를 측정, 분석, 예측하여 교수학습적 의사결정을 지원하는 융합학문으로, 최근 학습자의 인지부하를 신뢰롭게 측정하는 것으로 알려진 동공 크기 등의 생리심리 데이터를 활용하여 학습자의 인지적 과정을 파악함으로써 실제적인 교수학습 처방을 하는 데 관심을 두고 있다. 인지부하 이론은 한정된 인지 용량을 학습에 효율적으로 사용하도록 하는 교수설계 개발을 목적으로 둔다. 인지부하 이론은 효율성의 지표로 수행효율성(performance efficiency)을 활용하여 학습자가 학습 후 시험 등의 과제를 수행할 때 적은 정신적 노력을 투입하여 높은 성취를 얻었는지를 진단한다. 인지부하 연구는 인지부하의 인과 요인으로 학습자 특성, 과제 특성, 물리적 환경 특성의 상호작용을 제시하며 학습의 최적화에 기여하는, 혹은 방해하는 요인을 파악하여 처방하고자 한다. 인지부하에 영향을 주는 학습자의 정의적 특성 중 하나인 수학불안(mathatics anxiety)은 인지적 처리를 저해하고 인지부하를 높임으로써 비효율적인 학습을 초래하는 요인으로 논의되고 있다. 수학불안이 높으면 과제에 투입해야 할 작업기억 용량을 걱정과 불안에 대한 생각에 소비하므로 인지적 처리에 방해가 되고, 복합적이고 어려운 과제일수록 수행에 취약해진다. 또한 많은 연구들이 수학불안이 성취도를 저해한다고 밝히고 있으며 수학불안으로 인해 학습자의 능력이 발휘되지 못하여 과소평가를 받게 되었을 때 부정적인 피드백으로 높아진 수학불안이 다시 저성취를 초래하는 악순환이 발생할 수 있다. 수행효율성은 수학불안이 학습자의 인지부하와 성취도에 미치는 영향을 고려하여 효율성을 평가하므로 높은 수학불안과 성취도 저하의 악순환을 해결하기 위한 교수학습적 의사결정의 기준이 될 수 있다. 본 연구의 목적은 심리생리 데이터를 활용하여 수학불안 수준에 따라 인지부하와 성취도, 이 두 개념의 종합적인 지표인 수행효율성에 차이가 있음을 확인하고, 이로써 온라인 학습 환경에서 개인화된 교수학습적 처방을 위해 수행효율성이 학습자의 수학불안 수준을 고려하여 교수와 학습을 진단하는 지표로 활용될 수 있음을 시사하는 것이다. 위와 같은 필요성과 목적에 따른 구체적인 연구문제는 다음과 같다. 연구문제 1. 온라인 학습 환경에서 수학불안 수준에 따른 성취도는 어떠한가? 연구문제 2. 온라인 학습 환경에서 수학불안 수준에 따른 인지부하는 어떠한가? 연구문제 3. 온라인 학습 환경에서 수학불안 수준에 따른 수행효율성은 어떠한가? 본 연구는 수도권 소재 대학교 학부 2학년 학생 남녀 총 70명을 대상으로 진행되었으며 사전설문을 통해 수학불안 상·하 집단으로 구분하었다. 연구대상자는 사전시험을 치른 후 양항명제에 대한 동영상을 학습한 뒤 사전시험과 동형검사인 사후시험을 진행하였다. 실험 전 과정에 걸쳐 학습자의 동공 크기를 아이트래커로 측정하였다. 연구 결과는 다음과 같다. 첫째, 수학불안 상·하 집단 간 사후시험 점수 차이를 확인한 결과, 사후시험 점수는 수학불안이 낮은 집단이 수학불안이 높은 집단보다 유의하게 높다고 나타났다. 이는 수학불안이 낮으면 수학 성취도가 더 높다는 선행연구(e.g., 최승용, 2012; Hembree, 1990)와도 일치하는 결과이다. 수학불안 상·하 집단 간 사전시험 점수의 차이가 유의하지 않았으므로, 이는 유사한 수준의 사전지식을 지닌 수학불안 상·하 집단이 학습과 시험 상황에서 상이한 인지 과정을 겪어 인지적 성취 결과에 차이가 났다고 설명할 수 있다. 둘째, 수학불안 상·하 집단 간 사후시험에서의 동공 크기 차이를 확인한 결과, 집단 간 차이가 유의하지 않았다. 유의확률의 근소한 차이로 통계적 유의성을 확보하지 못했기 때문에 기술통계를 확인하였으며 그 결과 수학불안이 높은 집단의 동공크기가 더 크다는 경향성을 확인하였다. 수학불안이 주의집중을 저하시키고 작업기억의 용량을 차지하여 인지 과정에 부하를 발생시킨다는 기존의 선행연구(e.g., Eysenck & Calvo, 1992; Eysenck et al., 2007)에 부합되는 결과이다. 셋째, 수학불안 상·하 집단 간 수행효율성 차이를 분석한 결과, 수학불안 하 집단의 수행효율성이 수학불안 상집단보다 유의하게 높았다. 이는 수학불안 하집단이 적은 정신적 노력으로 높은 성취도를 획득하였음을 나타낸다. 앞서 수학불안 상·하 집단 간 사후시험 점수와 인지부하의 차이를 분석한 결과와 부합하고 있어 수행효율성이 효율성을 진단하는 지표가 될 수 있음을 확인하였다. 추가적 분석으로, 수행효율성에 대한 수학불안 수준과 과제복합성 수준의 상호작용을 분석한 결과, 수학불안의 주효과는 유의하게 나타났으나 과제복합성의 주효과와 과제복합성과 수학불안의 상호작용 효과는 유의하지 않았다. 본 연구의 결론과 시사점을 종합하자면 다음과 같다. 연구 결과 수학불안이 낮을수록 성취도와 수행효율성이 높았음을 확인하였다. 또한 생리심리 데이터를 활용하여 측정된 수행효율성이 온라인 학습 환경에서 학습자의 수학불안 수준을 고려하여 교수와 학습을 진단하는 지표로 활용될 수 있다는 가능성을 확인하였다. 따라서 교수자, 혹은 온라인 교수 시스템은 학업성취도에 비해 주목을 받지 못했던 수학불안과 같은 정의적 영역에 대한 처방의 중요성을 재인식하여 수학불안에 의한 비효율성을 최소화할 수 있는 교수설계적 전략을 적극 강구해야 할 것이다. 또한 수행효율성 지표를 통해 온라인 학습 환경에서 학습자의 학습 효율성 정도를 진단함으로써 적정 수준의 지원 또는 도전적인 과제를 제시하여 보다 개인화된 처방을 제공할 수 있고, 더 나아가 온라인 학습 컨텐츠의 효율성을 판단할 수 있다. 시험점수만으로는 보이지 않는 다이나믹한 학습자의 내적 학습과정을 이해한다면 학습자 특성과 상태에 더욱 맞춤화된 처방을 제공할 수 있을 것이다. 본 연구의 제한점과 후속 연구를 위한 제안은 다음과 같다. 첫째, 수학불안 측정 시 자기보고식 설문만을 사용했다. 온라인 학습 환경에서 효율성 진단이 실용화되기 위해서는 실시간으로 정확하게 수학불안을 측정해야 하므로, 수학불안 측정을 신뢰도 있게 측정하는 생리심리 데이터를 활용하여 수학불안을 측정하는 시도가 필요하다. 둘째, 선행연구와 달리 수학불안 집단 간 동공 크기의 차이가 유의하지 않았다. 선행연구는 주로 숫자의 자릿수를 증가시켜 계산하는 단순한 과제를 제시한 반면, 본 연구는 다양한 자극이 포함된 장시간의 학습과 시험 과제를 제시했으며 축적된 피로가 동공 크기에 영향을 미칠 수 있다(Tryon, 1975). 이러한 학습환경에서 동공 크기가 인지부하의 수준을 나타내도록 하는 정교한 통계량, 혹은 자료 분석방법을 연구할 필요가 있다. 셋째, 선행연구와 달리 수행효율성에 대한 과제복합성의 주효과와 과제복합성과 수학불안의 상호작용 효과가 유의하지 않았다. 본 연구는 상대적인 과제복합성 수준을 구분하였으나 과제복합성 수준을 정교하게 계량화할 수 있는 모델이 필요하다. 이를 통해 문항을 실험 목적에 부합하는 과제복합성 수준으로 개발하여 보다 정확한 연구 결과를 얻을 수 있을 것이다. 넷째, 본 연구에서 활용한 사전시험 및 사후시험은 동일한 내용의 동형검사로, 사전시험의 효과를 배제하지 못했다. 정확한 사전지식과 수행효율성 측정을 위해 사전시험과 사후시험을 상이한 문항의 동형검사로 제작하는 것이 바람직하다.;Educational Technology has been coevolving with the needs of the times. Toward the goal of providing a systemic prescription for promoting human learning and performance, efficiency is one of the subgoals pursued by instructional design. Efficiency is measured in terms of outcome as compared to the resources that are input. From the perspective of instructional design, outcome is the learners’ performance of learners, which instructional designers ultimately want to improve. In order to increase performance, learners invest a lot in resources such as time, money, and quantity of material. Among these, the resources that best fit the nature of learning are the learner 's own internal cognitive resources. Cognitive load theory is a systematic theory that explains how learners use their internal cognitive resources. In line with Drucker(1993)'s insight that “If you can't measure it, you can't manage it,” providing instructional prescriptions requires first measuring efficiency. Even for the same learner, the cognitive resources used in the learning process change every moment according to instructional design, content, time, and so on. Therefore, in order for elaborated instructional design and personalized prescription to be provided the cognitive resources that are used must be accurately measured in real time. To do this, a learning analytics methodology that uses psychophysiological data is needed. Learning analytics is a convergent discipline that supports instructional decision making by measuring, analyzing, and predicting data generated in a technology-mediated learning environment. Learning analytics using psychophysiological data such as pupil sizes known to reliably measure cognitive load has in fact been recently used toward understanding learners’ cognitive processes making actual prescriptions for teaching and learning. A useful theory to explain learner’s cognitive process is cognitive load theory, which can be used to develop the instructional design that demands using cognitive capacity efficiently for effective learning. Cognitive load theory uses performance efficiency as a diagnostic measure to determine whether learners have maximized achievement while minimizing the mental effort expended in performing tasks. Cognitive load research suggests interactions of characteristics of learners, tasks, and the physical environment as causal factors to cognitive load, and identifies factors that can contribute to or impede learning optimization. Mathematics anxiety, an affective characteristic of learners that affects cognitive load, has been discussed as a factor that inhibits learning efficiency by increasing cognitive load, and thereby inhibiting cognitive processing. If mathematics anxiety is high, much of the working memory capacity needed for the learning task is spent instead on thoughts of worry or anxiety and complex tasks are especially vulnerable to mathematics anxiety (Ashcraft & Kirk, 2001). In addition, many studies suggest that mathematics anxiety inhibits academic achievement. When a learner is underestimated because learner’s ability is not exercised due to mathematics anxiety, a vicious cycle occurs in which mathematics anxiety increased by negative feedback causes the lower achievement again. Performance efficiency can be evaluated by considering the effects of mathematics anxiety on academic achievement in terms of learners' cognitive load. Therefore, it can serve as a basis for teaching and learning decision-making skills that help resolve the vicious cycle of high mathematics anxiety and poor achievement. Performance efficiency is a comprehensive indicator reflective of cognitive load and achievement. The purpose of this study is to identify differences in performance efficiency according to mathematics anxiety levels as measured by psychophysiological data, and to suggest performance efficiency as an index to diagnose learning toward personalized prescriptions accounting for mathematics anxiety in an online learning environment. Following are specific research problems according to the above needs and purposes. Research Question 1. How is achievement affected by mathematics anxiety levels in an online learning environment? Research Problem 2. How is the cognitive load relate to mathematics anxiety levels in an online learning environment? Research Problem 3. How is performance efficiency affected by mathematics anxiety levels in an online learning environment? This study was conducted on 70 second-year undegraduate university students, who were divided into upper and lower mathematics anxiety groups by pre-questionnaire. After the pre-test, the subjects watched a lecture video and conducted the post-test. Learners’ pupil sizes were measured by an eye tracker throughout the experiment. The results of the study were as follows. First, it was found that post-test scores were significantly higher in the group with lower mathematics anxiety than in the group with higher mathematics anxiety. This is consistent with previous research that mathematics achievement is higher when mathematics anxiety is lower (Hembree, 1990). Because there was no significant difference in the pre-test scores between mathematics anxiety groups, It can be explained that the mathematical anxiety groups undergo different cognitive processes in the learning and test phases, resulting in differences in cognitive achievement results. Second, the difference in pupil size between mathematics anxiety groups during the post-test were not significant. Because statistical significance was not obtained due to the slight difference, the technical statistical results were confirmed. As a result, the higher mathematics anxiety group had a confirmed tendency toward larger pupil size. These results are consistent with previous studies that mathematics anxiety increases cognitive load by occupying much of the cognitive capacity of working memory (Eysenck & Calvo, 1992; Eysenck et al., 2007). Third, analyzing the difference in performance efficiency between the higher and lower mathematics anxiety groups showed that the performance efficiency of the group with lower mathematics anxiety was significantly higher than the group with higher mathematics anxiety. This indicates that the group with lower mathematics anxiety performed at a higher level with less mental effort; that is, their learning efficiency was higher. This is consistent with the results of an analysis of the difference between post-test scores and cognitive load between upper and lower mathematics anxiety groups. Therefore, it is confirmed that performance efficiency using pupil size data can be use as an index to diagnose efficiency. Results of an additional analysis of the interaction effects of task complexity and mathematics anxiety on performance efficiency, showed that mathematics anxiety was significant as a main effect, but there were no significant main effect of task complexity and interaction effects between task complexity and mathematics anxiety. The conclusions and implications of this study are summarized as follows. The results of this study showed that when mathematics anxiety was lower, performance efficiency was higher. Also, in the online learning environment, the possibility was confirmed that efficiency can be diagnosed by measuring performance efficiency in a way that accounts for the characteristics of learners based on psychophysiological data. Therefore, a teacher or online teaching system should recognize the importance of prescription for mathematics anxiety and actively seek instructional design strategies that minimize the inefficiency caused by mathematics anxiety. In addition, performance efficiency indicators can be used to diagnose learners' level of efficiency in the online learning environment. This information can be used to provide a more personalized prescription by providing the appropriate level of challenge or support and to assess the efficiency of the instructional method in online lerning environment using concepts employed in this study. Understanding the dynamic inner learning processes of learners that are not shown in test scores provides a way to create a more personalized prescription for the learner. Limitations of this study and suggestions for future research are as follows. First, only the self-report questionnaire was used when measuring mathematics anxiety in this study. In order to use performance efficiency diagnosis in the online learning environment, it is necessary to accurately measure mathematics anxiety in real time using psychophysiological data that serves as a reliable indicator of mathematics anxiety. Second, unlike previous studies, there was no significant difference in pupil size between mathematics anxiety groups. Previous research presented a simple task controloing the number of digits to classify the level of task complexity, but this study involved a long learning and testing environment involving various stimuli. In such a learning environment, it is necessary to study more elaborate statistics or data analysis methods that allow pupil size to represent the level of cognitive load. Third, unlike previous studies, the main effect of task complexity and interaction effects between task complexity and mathematics anxiety on performance efficiency were not significant. Although this study classified the relative task complexity level, a finer-grained model is needed to represent acurate levels of task complexity. Fourth, the pre-test and post-test used in this study were homogeneous tests that contained the same test items. Therefore, pre-testing effects could not be ruled out. It would be desirable to repeat the study using a homogeneous pre-test and post-test of different items to measure accurate prior knowledge and performance efficiency.