웹 기반 문제해결 학습상황에서 문제해결 전략 유사도로 분류한 집단 간 선택적 주의, 인지부하 차이 및 결과예측

Abstract

오늘날 우리는 인류의 역사에 있어 사회, 문화, 기술 등 여러 방면에서 급격한 변화를 맞이하고 있다. 인공지능과 4차 산업 혁명으로 촉발된 사회변화는 새로운 인재를 필요로 하기에 교육에도 큰 변화가 예상된다. 4차산업혁명 시대의 교육패러다임은 보다 근본적인 변화를 요구한다. 미래형 인재에게 요구되는 것은 얼마나 많이 알고 있느냐 하는 ‘지식의 양’이 아니라 정확하고 의미 있는 정보를 선별하고, 이를 활용하여 문제를 해결해낼 수 있는‘정보처리 역량’이다(이근호, 곽영순, 이승미, 최정순, 2012). 정보처리 역량은 제시된 다양한 자료를 해석하고, 필요한 정보를 선별하여 인지적으로 처리해내는 일반적 영역의 핵심역량(core competency)이며 이러한 역량은 궁극적으로 합리적인 문제를 해결하기 위한 전략이 된다(한혜정, 김기철, 이주연, 장경숙, 2018). 일반적인 문제해결 전략의 향상은 전통적인 지식전달 위주의 학습 방법으로 함양되기에는 제한적이라고 알려져 있다(유지원, 류다현, 이미나, 2015). 실제 복합적인 과제를 수행하거나 특정 문제를 풀어나가는 과정의 연습을 통해 향상시키는 것이 가장 적합한 학습방식이라고 할 수 있다(Frerejean, Merriënboer, Kirschner, Roex, Aertgeerts, & Marcellis, 2019). 따라서 이러한 방식의 학습에서는 교수설계의 접근방식 또한 달라져야 할 것이며, 그에 따른 평가 방법도 달라져야 할 것이다. 문제해결 전략은 학습종료 후에 습득되는 지식이 아닌 학습 과정 중에 발견·터득되는 역량이기 때문에 학습 과정이 기준이 되어 즉각적 처방을 제시해주는 형태로 이루어져야 할 것이다. 학습자들은 같은 학습상황일지라도 각기 다른 학습경험을 하게 된다. 이는 정보처리이론의 관점에서 보면 개인이 정보를 탐색하고 수집하여 처리하는 전반의 과정이 개인마다 상황마다 다르고, 그 과정에서 개인의 작업기억에 부과되는 인지부하 또한 다르다고 설명한다(Sweller, 1988). 인간의 인지적 정보처리는 작업기억(working memory)이라는 제한된 용량 안에서 이루어지기 때문에 쏟아지는 정보들 사이에서 필요한 정보만을 선별하지 못하고 모두 처리하고자 할 때 인지과부하가 발생할 수 있다(Miller, 1956). 이렇게 되면 정보를 처리해야 할 작업기억 용량에 여유가 없어 새로운 정보의 효과적인 통합이 이루어지지 않게 되고 그 결과 학습효과가 발생하기 어려워진다(Plass, Moreno, & Brünken, 2010). 이처럼 개별 학습자의 정보처리와 학습상황에서 경험하는 인지부하를 파악하여 적절한 개입과 처방을 주기 위해서는 다양한 학습환경에 대한 데이터와 개인이 학습 과정에서 발생시키는 학습데이터를 수집하고 분석하여 처방하는 학습분석학적 접근이 필요하다. 학습분석학은 학습과 학습이 일어나는 환경에 대한 이해와 최적화를 위해 학습자와 그들의 맥락에 대한 데이터를 측정, 수집, 분석, 보고하는 활동(Siemens & Long, 2011)으로, 증거기반 교수-학습 설계에 적합한 접근방식이다. 증거기반 교수설계란 학습자가 학습 내용과의 상호작용 과정에서 도출되고 있는 일련의 행동(증거)을 측정한 객관적 데이터를 분석함으로써, 학습자의 인지적 상태를 추론하고 증거에 기반한 적절한 처방을 제시하도록 설계된 교수 방법을 의미한다(Robinson & Dearmon, 2013). 최근에는 학습자의 인구통계학적 정보나 접속 시간, 접속 빈도, 강좌 정보, 사전지식 수준, 로그 데이터와 같은 학생정보시스템(SIS)과 학습관리시스템(LMS)에서 제공하는 데이터뿐만 아니라 실제 학습 과정에서 학습자로부터 얻어지는 의사소통 패턴, 몸의 움직임, 생체반응, 비언어적 행동 등과 같이 컴퓨터가 알려주지 못하는 데이터까지 수집하여 학습에 대한 심층적인 해석을 시도하는 다중모드학습분석학(Multimodal Learning Analytics; MMLA)이 대두되고 있다(Ochoa, Worsley, 2016; Oviatt, Grfsgaard, Chen, Ochoa, 2018). 다중모드학습분석학에서는 학습자의 동기화된 멀티스트림(synchronized multi-stream)데이터를 수집하여 학습 지향적 행동 모델링, 예측 및 지원을 위해 분석하기 때문에 개별 학습자들 간 학습상태를 비교 분석할 수 있을 뿐만 아니라 개인 내 변화하는 인지적·심리적 상태까지도 모델링 할 수 있다는 점에서 적응형 학습을 위한 교수-설계를 가능하게 한다. 적응형 학습은 학습자 개인의 수준이나 흥미뿐만 아니라 인지적 상태 및 행동에 따라 적응적으로 맞춤화된 학습을 제공하는 것으로(Marienko, Nosenko, & Shyshkina, 2020), 실제 이를 구현하기 위해서는 학습 과정 중에 계속해서 변화하는 개인의 인지 상태를 측정-분석하고 분석 결과에 따라 처방이 이루어져야 한다. 그러나 지금까지는 학습자의 인지적 처리 과정을 시간의 흐름에 따라 측정하는 것의 어려움과 분석 방법의 부재로 제대로 시행되지 못하는 실정이다(정겨운, 2020). 오늘날 온라인학습이 보편화 되고 학습상황을 분석하고 예측하는데 활용되는 다양한 에듀테크가 개발되면서, 학습자가 학습 과정에서 발생시킨 행동 로그 데이터뿐만 아니라 시선 추적기나 심박측정기, 뇌파 측정기 등을 활용한 생리 심리 반응 또한 수집할 수 있게 되었다. 이중 시선 추적기는 학습자의 주의집중과 인지 처리 양상을 반영하기 때문에(Rayner, 1998; Trueswell & Gleitman, 2007) 문제 풀이나 학습상황에서 비 간섭적으로 정보처리 과정을 살펴보기에 매우 효과적인 방법이다. 또한, 시선 추적기는 실시간처리(real-time process) 기제를 나타내며, 이것은 성취만으로는 알 수 없는 정보처리 상황을 유추하는데 매우 유용한 방법이다. 따라서 본 연구에서는 문제 풀이 형태의 학습상황에서 학습자의 문제해결 전략이 반영된 정보처리 과정을 시선 경로를 통해 탐색적으로 분석하고, 다수에 의해 의미 있는 패턴으로 채택된 최적의 시선 패턴과 개별 학습자의 시선 경로 유사도가 학습자들의 문제해결 전략을 나타내는 중요한 지표로 활용 가능한지 검증하고자 한다. 더불어 문제해결 전략의 유사도를 기준으로 집단을 분류하고, 집단 간에 주의와 인지부하에 차이가 있는지 검증함으로써 문제해결 전략에 따라 학습 과정에서 인지적 상태의 차이를 비교·분석해보고자 한다. 마지막으로 개인의 인지적 상태를 나타내는 지표들이 문제 풀이 결과와 어떤 관계가 있는지 검증함으로써 학습 진행에서 결과로 이어지는 학습의 전반적 과정을 이해하고 그에 따른 처방 가능성을 확인하고자 하였다. 이에 따른 연구 문제는 다음과 같다. 연구문제 1. 문제해결 전략의 유사도로 분류한 집단 간 문제해결 과정에서 인지적 상태에 차이가 있는가? 1-1. 집단 간 선택적 주의(시선의 회귀, 긍정적 선택적 주의, 부정적 선택적 주의)에 차이가 있는가? 1-2. 집단 간 인지부하(동공 확장 평균, 회상된 인지부하 점수, 문제해결 시간)에 차이가 있는가? 1-3. 집단 간 문제 풀이 결과에 차이가 있는가? 연구문제 2. 학습자의 인지적 상태는 문제 풀이 결과를 예측하는가? 2-1. 학습자의 선택적 주의(시선의 회귀, 긍정적 선택적 주의, 부정적 선택적 주의)는 문제 풀이 결과를 예측하는가? 2-2. 학습자의 인지부하(동공 확장 평균, 회상된 인지부하 점수, 문제해결 시간)는 문제 풀이 결과를 예측하는가? 본 연구는 수도권 소재 대학교에 재학 중인 대학생 100명을 모집하여 실험을 진행하였다. 모집된 피험자 중 결측치와 이상치 제거 및 데이터 전처리과정을 거쳐 총 60명을 대상으로 분석하였다. 데이터 분석은 먼저 Python 프로그램의 STA(Scanpath Trend Analysis) 알고리즘으로 피험자들의 Trending Scanpath를 추출하였고, R 통계 패키지를 활용한 Levenshtein Edit Distance 방법으로 Trending Scanpath와 개별 피험자들의 시선 경로 유사도를 산출하였다. 이렇게 계산된 시선 경로 유사도는 문제해결 전략 유사도로 명명하였고, 문제해결 전략 유사도에 따라 2개의 집단으로 나눈 뒤 집단 간 선택적 주의지표와 인지부하지표의 차이 분석을 실시하였다. 이들 지표가 문제 풀이 결과와 상관이 있는지 살펴보기 위해 상관분석을 실시하였고, 상관이 나온 지표들을 중심으로 로지스틱 회귀분석을 실시하였다. 마지막으로 선택적 주의지표가 인지부하와 문제 풀이 결과의 관계에서 조절 효과가 있는지 살펴보기 위해 변수를 평균중심화하여 조절회귀분석을 실시하였다. 연구 결과와 그에 대한 논의는 다음과 같다. 먼저 문제해결 전략 유사도에 따라 구분한 집단 간 선택적 주의지표의 차이 분석 결과를 보면 첫째, 시선의 회귀는 문제해결 전략 유사도가 높은 집단에서 더 적게 발생하였으며 그 차이가 통계적으로 유의하게 나타났다. 문제해결 전략 유사도 하 집단은 상 집단보다 주어진 정보를 한 번에 처리하기 어려웠거나 초기에 주어진 정보에 대한 이해가 불충분했거나 혹은 기억력이 부족하여 정보가 흐려지는 등 시선을 회귀하여 정보를 통합하고자 하는 시도를 여러 번 한 것으로 해석할 수 있다. 둘째, 긍정적 선택적 주의는 문제해결 전략 유사도가 높은 집단에서 더 빈번하게 발생하였으며 그 차이가 통계적으로 유의하게 나타났다. 문제해결 전략 유사도 하 집단이 상 집단보다 문제해결에 필요한 핵심 정보를 찾는 데 어려움을 겪었고, 그 결과 핵심 정보가 포함되어있는 구간을 더 적은 비율로 응시한 것으로 보인다. 셋째, 부정적 선택적 주의는 문제해결 전략 유사도가 높은 집단에서 더 적게 발생하였으나 두 집단 간 통계적으로 유의한 차이는 나타나지 않았다. 이는 학습자들이 문제해결에 필요한 핵심 정보를 찾아내는 것에는 다소 어려움을 겪었으나 불필요한 정보를 걸러내는 것은 좀 더 쉽게 할 수 있었기 때문이라고 판단된다. 그다음으로 문제해결 전략 유사도에 따라 구분한 집단 간 인지부하 지표의 차이 분석 결과를 보면 첫째, 동공 확장 평균은 문제해결 전략 유사도가 높은 집단이 더 작은 것으로 나타났으나 두 집단 간 통계적으로 유의한 차이는 나타나지 않았다. 동공 크기는 인지적 처리 과정에서의 어려움을 나타내는 지표로 활용되기도 하지만 학습을 하는 과정에서 인지적 노력이 향상될 때 혹은 개인의 호기심이나 몰입의 정도가 높아질 때 동공 크기가 확대되기도 한다(Pomplun & Sunkara, 2003; Porta, Ricotti, & Perez, 2012). 따라서 학습자들이 문제해결 전략에 따라 문제를 해결하고자 인지적으로 노력을 기울이는 상황에서 동공 크기가 커졌을 수도 있고 반대로 문제해결 전략을 습득하지 못해 문제를 해결하는 과정에서 인지적 어려움을 겪는 상황에서도 동공의 크기는 커질 수 있다. 따라서 동공 크기 변화만을 가지고 인지부하를 완벽하게 추론하기엔 다소 무리가 있을 수 있다고 판단되었다. 둘째, 회상된 인지부하 점수에 의한 주관적 인지부하는 문제해결 전략 유사도가 높은 집단에서 더 낮게 나타났으며 그 차이가 통계적으로 유의하게 나타났다. 실제 회상 자극 실험에서 학습들이 남긴 코멘트를 살펴보면 문제해결 전략 유사도 하 집단의 학습자들은 문제를 푸는 과정에서 대부분의 인지적 어려움을 느꼈고, 정답에 확신을 갖지 못하는 등 매우 혼란스럽고 어려워함을 느낄 수 있었다. 반면 문제해결 전략 유사도 상 집단의 학습자들은 문제를 푸는 과정에서 대부분 어떤 식으로 접근해야 하는지 알고 있었으며, 실제로 문제를 어렵다고 느꼈음에도 전략에 따라 금방 정답을 찾아 결국에는 쉬웠다고 응답하였다. 셋째, 문제해결 시간은 문제해결 전략 유사도가 높은 집단이 더 짧았으며 그 차이가 통계적으로 유의하게 나타났다. 문제해결 전략 유사도 하 집단은 상 집단보다 효율적인 문제해결 전략을 습득하지 못해 문제해결 과정에서 인지과부하로 인해 정보를 처리하는데 더 많은 시간이 소요되었다고 해석할 수 있다. 마지막으로 문제해결 전략 유사도에 따라 구분한 집단 간 문제 풀이 결과지표의 차이 및 독립성 검정 결과를 보면, 문제 풀이 결과는 문제해결 전략 유사도가 높은 집단에서 정답을 맞힐 확률이 더 높은 것으로 나타났으며 그 차이가 통계적으로 유의했다. 더불어 Fisher의 정확 검정 결과 문제해결 전략 유사도에 따라 구분한 집단과 문제 풀이 결과 사이에는 유의한 관계가 있다고 밝혀졌다. 본 연구 결과를 통해 문제해결 전략으로 대변되는 시선 경로만으로도 학습자들의 선택적 주의 패턴과 인지부하 및 문제 풀이 결과까지 추론할 수 있음이 증명되었다. 선택적 주의와 인지부하 지표들이 문제 풀이 결과와 상관이 있는지 살펴보고자 상관분석을 실시한 결과 전체수준에서 문제 풀이 결과와 직접적인 상관이 있는 지표는 긍정적 선택적 주의지표와 동공 확장 평균지표로 나타났다. 긍정적 선택적 주의지표는 정적 상관관계를 보이고, 동공 확장 평균은 부적 상관관계를 보였다. 반면 문제해결 전략 유사도 상-하 수준에 따라 구분한 집단에서는 독립변인과 종속변인의 유의한 상관이 나오지 않았다. 이는 전체 피험자를 각 집단으로 구분하여 그 수가 적어졌기 때문이라고 판단된다. 많은 실증연구에서도 알 수 있듯이 표본 수가 적으면 상관관계의 크기는 매우 불안정해진다(Schonbrodt & Gerstenberg, 2012, Schonbrodt & Perugini, 2013). 따라서 본 연구에서도 문제해결 전략 유사도에 따라 분류한 각 집단의 표본 수가 적어지면서 상관분석 결과에도 영향을 끼친 것으로 판단된다. 선택적 주의, 인지부하 지표의 문제 풀이 결과 예측모형 개발을 위해 로지스틱 회귀분석을 실시한 결과 첫째, 전체수준에서 동공 확장 크기는 문제 풀이 결과를 부적으로 예측하였고, 이는 통계적으로도 유의하였다. 둘째, 긍정적 선택적 주의는 문제 풀이 결과를 정적으로 예측하였고 이는 통계적으로도 유의하였다. 따라서 문제 풀이 상황에서 학습자들의 문제해결에 필요한 정보 구간을 응시하는 비율과 동공의 확장 크기는 문제해결 결과를 예측할 수 있는 유용한 지표임이 다시 한번 검증되었다고 할 수 있다. 또한, 문제해결 전략 유사도 상-하 수준에 따라 구분한 집단에서 로지스틱 회귀분석을 실시한 결과, 유사도 상 수준의 집단에서는 동공 확장 평균과 긍정적 선택적 주의지표가 문제 풀이 결과를 유의하게 예측하지 못하는 것으로 나타났다. 반면 문제해결 전략 유사도 하 수준의 집단에서는 전체수준과 마찬가지로 동공 확장 평균은 문제 풀이 결과를 부적으로 예측하였고 긍정적 선택적 주의는 문제 풀이 결과를 정적으로 예측하였다. 이는 통계적으로도 유의하게 나타났다. 동공 확장 평균이 문제 풀이 결과를 예측하는데 긍정적 선택적 주의의 조절효과가 있는지 살펴보기 위해 변수를 평균중심화하여 조절회귀분석을 실시한 결과, 전체수준에서 긍정적 선택적 주의는 동공 확장 평균과 문제 풀이 결과의 관계를 조절하는 것으로 나타났다. 즉, 동공 확장 평균이 커질수록 정답을 맞힐 확률이 낮아지나 긍정적 선택적 주의가 많아지면 그 관계의 방향이 달라지는 대립효과가 발생하였다. 그러나 문제해결 전략 유사도 상 수준에서는 로지스틱 회귀분석 결과 통계적으로 유의한 결과를 보이지 못하였으므로 제외하고, 문제해결 전략 유사도 하 수준에서 긍정적 선택적 주의는 동공 확장 평균과 문제 풀이 결과의 관계를 조절하지 못하는 것으로 나타났다. 이 같은 결과를 보인 이유를 살펴보고자 문제해결 전략 유사도 하 집단 학습자들의 긍정적 선택적 주의지표를 확인하였다. 문제해결 전략 유사도 하 집단의 학습자들은 긍정적 선택적 주의의 비율이 매우 낮게 보고되었고, 조절 효과 분석을 위해 평균중심화한 결과 긍정적 선택적 주의 비율의 평균이 음수로 기록된 것을 확인할 수 있었다. 이는 문제해결 전략 유사도 하 집단의 대부분 학습자가 문제해결에 필요한 정보 구간을 찾는 데 매우 어려움을 겪었으며, 그 결과 긍정적 선택적 주의의 조절 효과가 제대로 나오지 못한 것으로 판단하였다. 또 다른 이유로는 로지스틱 회귀분석 결과와 마찬가지로 집단으로 분류된 피험자 수가 작아짐에 따라 통계적 추론의 검정력이 감소했기 때문이라고 판단된다(Cohen, 1988). 특히 조절 효과 검증에서는 몇 개의 하위집단으로 분류하여 표본을 쪼개면 없던 상호작용 효과를 거짓으로 만들어낼 가능성이 있고(Maxwell & Delany, 1993), 검정력이 약해지는 문제를 초래할 수 있다(한인수, 2002). 본 연구는 영역 일반적 문제해결 전략 학습상황에서 학습자들의 문제해결 전략에 따른 정보처리 과정을 탐색적으로 분석하고, 문제해결 과정에서 학습자로부터 얻을 수 있는 다중모드(multimodal) 데이터를 활용하여 학습자의 인지적 상태를 실증적으로 분석하고자 시도한 다중모드학습분석학적 접근의 연구이다. 또한, 학습자들의 문제해결 전략 패턴에 따라 군집화하여 문제해결 과정에서 발생하는 인지적 상태를 정량적·정성적으로 비교 분석하고, 개인의 인지적 상태지표들과 문제 풀이 결과와의 관계를 예측모형을 통해 검증함으로써 지능형 개인별 맞춤화 처방을 위한 이론적 기반이 마련됐다는 점에서 교수학습적 의의가 있다고 할 수 있다. 연구의 결과를 기반으로 구체적인 의의와 시사점을 제시하면 다음과 같다. 첫째, 다중모드학습분석학을 적용하여 적응형 학습의 체제적 교수설계 관점을 넓혔다. 본 연구는 수의 행동인 시선 경로, 선택적 주의, 문제 풀이 시간과 불수의 근육의 움직임인 동공 확장 그리고 자기 보고식 응답 결과 등 다중모드데이터를 수집하고 분석하여 해석함으로써 학습 과정에서 변화하는 개인의 정보처리와 인지적 상태를 포착하고자 하였다. 이를 체제적 설계관점에서 보면 개인과 콘텐츠의 상호작용 과정에서 실시간으로 변화하는 개인의 인지적, 심리적 상태를 포착하여 학습자의 학습상태 변화에도 적응 가능한 적응형 학습의 새로운 교수학습 설계모형을 개발하는데 통찰을 제공할 수 있을 것으로 기대된다. 둘째, 문제해결 전략을 반영한 인지적 정보처리 과정의 정량적 분석을 위한 새로운 방법론을 제시하였다. 학습자의 인지적 정보처리 과정은 시간성과 학습자 개별성을 지니는 속성으로 이를 온전히 반영한 지표에 의해 분석하고자 하였다. 따라서 시간성(순서)을 고려하기 위해 STA 알고리즘을 활용하여 Trending Scanpath를 추출하였고, 학습자 개별성을 반영하고자 Trending Scanpath와 개별 학습자 시선 경로의 유사도를 계산하는 새로운 방법론을 시도하였다는 점에서 의의가 있다. 이는 비단 문제해결 상황뿐만 아니라 온라인 학습상황에서 학습자의 집중 여부를 진단하거나 졸음, 딴짓, 자리 비움 등과 같은 비 학습적 상태를 파악하고 경고나 알람을 주는 목적으로 활용하는 등 교육 분야에서의 잠재적 활용 가치가 클 것으로 기대된다. 셋째, 문제 풀이 형태의 학습상황에서 학습자의 인지적 상태를 추론할 수 있는 지표들을 개발하고 문제 풀이 결과와의 관계를 실증적으로 규명하였다. 시선 추적기기를 활용한 선행연구를 보면 대부분 시각 행동 주요 변인으로 시선 고정빈도, 시선 고정 지속시간, 시선 도약 빈도, 시선 도약 거리 등 시선 추적기에서 기본적으로 제공하는 데이터를 분석하여 연구맥락에 맞게 그 의미를 해석하였다. 그러나 본 연구에서는 시각 행동에 의미를 부여하여 시선 경로는 문제해결 전략으로, 시선의 회귀 빈도, 특정 AOI영역의 시선 고정 비율은 선택적 주의로 새롭게 제시하였다는 점에서 의의가 있다. 더불어 이러한 지표와 문제 풀이 결과의 관계를 예측모형을 통해 실증적으로 검증함으로써 교수학습 설계를 위한 기초자료로 활용될 수 있으리라 기대된다. 특히 긍정적 선택적 주의는 문제 풀이 결과를 정적으로 예측할 뿐만 아니라 동공 확장 평균이 문제 풀이 결과를 예측하는데 조절 효과를 가지는 조절변수임을 밝혀냈다. 이는 학습자가 문제해결 상황에서 인지적 어려움을 겪는다면 문제해결에 필요한 핵심 정보 구간을 시각적 단서로 제시함으로써 인지부하를 낮춰주는 데 도움을 줄 수 있음을 시사한다. 본 연구의 제한점과 이를 바탕으로 한 후속 연구를 다음과 같이 제안한다. 첫째, 본 연구에서 사용한 시선 경로 분석방법론은 비교적 최근에 개발된 알고리즘으로 교육 분야에서 경험적 검증이 많이 이루어지지 않아 일반화하기엔 다소 무리가 있다. 따라서 추후 다양한 학습 환경과 조건에서 경험적 검증이 필요할 것이다. 그 예로는 시각적 단서(visual cue) 제시 여부에 따른 학습환경에서의 검증, 과제 특성별 혹은 복합도별 검증, 학습자의 선수전략에 따른 차이 비교 등이 있다. 둘째, 본 연구에서는 한 문제만을 가지고 실험을 진행하여 개인의 문제해결 전략 습득에 따라 정보처리 및 인지적 상태 변화까지는 살펴보지 못했다. 추후 연구에서는 여러 문제를 가지고 학습하는 과정에서 문제해결 전략 습득에 따른 개인의 시선 경로 특성 및 문제해결 전략 유사도의 변화 등을 비교·검증해보는 연구가 필요할 것이다. 셋째, 본 연구는 문제 풀이 형태의 학습상황에서 발생하는 문제해결 전략과 인지적 상태를 탐색적으로 분석하는 연구로 적절한 처방에 따른 효과까지는 살펴보지 못했다. 후속 연구에서는 자동화된 알고리즘을 통해 학습자의 문제해결 전략과 인지적 상태를 실시간으로 분석하고 이에 따른 개인별 맞춤형 처방을 제시하여 그 효과성을 검증하는 연구가 이루어져야 할 것이다. 넷째, 본 연구는 생리심리데이터 수집을 위해 엄격히 통제된 실험에서 이루어졌다. 따라서 실제적인 학습상황에 일반화하기에는 다소 어려움이 있다. 생리심리데이터 중 동공 확장은 외부의 소음이나 실험실의 온도, 조도 등 환경적 변화에 민감하게 반응하는 지표이다. 따라서 마이크로사카드(microsaccade)나 심장 박동, 피부의 온도변화 등 비교적 외부환경 변화에 덜 민감하게 반응하는 생리심리데이터를 활용하여 다양한 학습상황에서 검증해볼 것을 제안한다. 다섯째, 본 연구에서 상정한 선택적 주의와 인지부하 지표 중 시선의 회귀, 부정적 선택적 주의, 회상된 인지부하 점수, 문제해결 시간은 문제 풀이 결과와 유의한 상관이 없는 것으로 나타나 예측변수로 활용하지 못하였다. 따라서 후속 연구를 통해 학습 과정에서의 인지적 상태를 대변할 수 있는 타당하고 객관적인 지표들에 대한 탐색과 개발연구를 확대·발전시켜나가야 할 것이다.;Historic changes are taking place at a rapid pace in many areas of contemporary life, including society, culture, and technology. The social changes caused by artificial intelligence (AI) and the Fourth Industrial Revolution require new talent implying the necessity of a major change in education is expected. The educational paradigm of the era of the Fourth Industrial Revolution requires fundamental changes. Future talented people will not be judged by the amount of knowledge about how much they know, but their information processing capability, or how well they can select accurate and meaningful information and use it to solve problems (Lee, Kwak, Lee, & Choi, 2012). Information processing competency is the core competency of a general domain that interprets a range of data, selects the necessary information from it, and cognitively processes it. This competency is ultimately a strategy for solving problems in a rational way (Han, Kim, Lee, & Jang, 2018). Improvements in general problem-solving strategies are generally cultivated in traditional knowledge transfer-oriented learning methods (Yoo, Ryu, & Lee, 2015). The easiest way to learn is to make improvements through real, complex tasks or to practice the solution of specific problems (Frerejean, Merriënboer, Kirschner, Roex, Aertgeerts, & Marcellis, 2019). In this type of learning, the approach to instructional design must differ, and evaluative methods must also differ, accordingly. Problem-solving strategies are not limited to the knowledge acquired after study is complete but are instead capabilities discovered and acquired during a learning process. This implies that the learning process should be the standard, and an immediate prescription should be presented in each case. Different learners have different learning experiences even in one and the same learning environment. From the point of view of information processing theory, the overall process of searching, collecting, and processing information by individuals differs for each individual situation, and the cognitive load imposed on each individual’s working memory in the process varies as well (Sweller, 1988). Because human cognitive information processing must operate within the limited confines of working memory, cognitive overload can occur when processing all of the needed information without the ability to select only the most needed information from among a lot of information (Miller, 1956). Here, there is no space in the working memory capacity to accomplish this, so effective integration of new information is impossible, and as a result, it is difficult to generate learning effects (Plass, Moreno, & Brünken, 2010). To grasp the cognitive load experienced by individual learners in information processing and learning and to produce appropriate interventions and prescriptions, a learning analytics approach that collects, analyzes, and prescribes various environmental and learning data is needed. Learning analytics measures, collects, analyzes, and reports data on learners and their contexts to understand and optimize environments in which learning takes place and learning (Siemens & Long, 2011). It is an appropriate approach for evidence-based teaching-learning design. Evidence-based instructional design infers the learner’s cognitive state by analyzing objective data to measure a series of behaviors (taken as evidence) derived from interaction with learning contents to suggest appropriate prescriptions based on evidence, in what can be termed to means-teaching method (Robinson & Dearmon, 2013) In recent years, data are collected and stored by student information systems (SIS) and learning management systems (LMS), including demographic information, access times, access frequencies, course information, prior knowledge levels, and log data, as well as by learners themselves during their actual learning. Multimodal learning analytics (MMLA), which performs in-depth interpretation of learning by collecting data that computers cannot gather, such as communication patterns, body movements, biological reactions, and non-verbal behaviors, is emerging (Ochoa & Worsley, 2016; Oviatt, Grafsgaard, Chen, & Ochoa, 2018). In MMLA, synchronized multi-stream data from learners are collected and analyzed to promote learning-oriented behavioral modeling, prediction, and support, making it possible to compare and analyze learning states between individual learners as well as within individuals. This enables teaching designs for adaptive learning that can model even changing cognitive and psychological states. Adaptive learning produces learning that is adaptively tailored to learners' individual level and interests, as well as their cognitive state and behaviors (Marienko, Nosenko, & Shyshkina, 2020). It is necessary to measure, that is, analyze the changing cognitive state of an individual and make a targeted prescription according to the results of the analysis. However, it has proven difficult until now to measure learners’ cognitive processing over time, and the lack of analytical methods has made it difficult to implement these approaches properly (Jung, 2020). As online learning is becoming more common today, and the various technologies used to analyze and predict learning situations develop, both behavioral log data that is generated by learners during learning are collected and their physiological and psychological responses as well, using eye-trackers, heart rate monitors, and brain waves. Eye-trackers are very effective for unobtrusively observing information processing that occurs in problem solving or learning because it reflects the attention and cognitive processing patterns of learners (Rayner, 1998; Trueswell & Gleitman, 2007). In addition, the eye-tracker is a process mechanism that occurs in real time, enabling useful methods for inferring information processing in ways that do not appear in the measurement of achievement alone. In this study, the information processing that reflects the learner’s problem-solving strategy in the learning situation in the form of problem solving is analyzed using the scanpath, and similarities between optimal gaze patterns are taken to indicate meaningful patterns in learners. This allows verification of its usability as an indicator of learners’ problem-solving strategies. By classifying groups according to the similarity of their problem-solving strategies and investigating possible differences in attention and cognitive load between groups, this study compares and analyzes differences in cognitive states during learning in reference to problem-solving strategies. Finally, by verifying the indicators that represent individuals’ cognitive states relate to the problem-solving results, the overall process of learning was observed, from learning to results, ultimately to determine the possibility of prescription. The research questions are set as follows. Research Question 1. Is there a difference in cognitive state during problem solving between groups classified by similarity in problem-solving strategies? 1-1. Are there differences in selective attention (refixation saccades, positive selective attention, and negative selective attention) between groups? 1-2. Are there differences in cognitive load (mean pupil dilation, recalled cognitive load score, and problem-solving time) between groups? 1-3. Are there differences in problem-solving results between groups? Research Question 2. Do learners’ cognitive states predict the results of their problem-solving? 2-1. Does learners’ selective attention (refixation saccades, positive selective attention, and negative selective attention) predict the results of their problem solving? 2-2. Does the learner’s cognitive load (mean pupil dilation, recalled cognitive load scores, and problem-solving time) predict the results of problem solving? For this study, 100 university students were recruited. Among the recruited subjects, 60 were excluded due to missing values, and outliers were analyzed. For the data analysis, the ‘Trending Scanpath’ was first extracted using Python scanpath trend analysis (STA) algorithm, and the similarity between ‘Trending scanpath’ and individual subjects’ scanpath was calculated using the Levenshtein edit distance method in the R statistical package. The calculated scanpath similarity was termed the problem-solving strategy similarity. After dividing the problem-solving strategy into two groups according to similarity, an analysis of the difference between selective attention indicators and cognitive load indicators between the groups was conducted. Correlation analysis was conducted to see whether these indicators were correlated using problem-solving results. Logistic regression analysis was performed on the indicators to establish correlations. Finally, to determine whether the selective attention indicators had a moderating effect in the relationship between cognitive load and problem-solving results, a moderated regression analysis was performed, centering on the variables. The research results were as follows. First, by analyzing the differences in selective attention indicators between groups, classified according to similarity in problem-solving strategies, first, refixation saccades occurred less often in groups with high similarity in problem-solving strategies, and the difference was statistically significant. The groups with low similarity in problem-solving strategy 1) had more difficulty in processing the given information at once than the high-similarity group, 2) had insufficient understanding of the information given at the beginning, or 3) had memory lacks, resulting in blurred information. Thus, this can be interpreted as multiple attempts to integrate information by regressing the gaze. Second, positive selective attention occurred more frequently in the group with high similarity to problem-solving strategies, and this difference was statistically significant. The group with low similarity in problem-solving strategies found it more difficult to find the key information necessary for problem solving than the group with the higher similarity, and as a result, it seems that it gazed on a smaller percentage of the section that contained the key information. Third, less negative selective attention occurred in the group with high similarity in problem-solving strategies, but there was no statistically significant difference between the two groups. This is likely because it was difficult for learners to find the key information needed to solve the problem, but it was easier to filter out unnecessary information. Next, as a result of the analysis of differences in cognitive load indicators between groups classified according to the similarity of problem solving-strategy, first, mean pupil dilation was smaller in the groups with high similarity in problem-solving strategies. However, no statistically significant difference was found between the two groups. Pupil size is sometimes used as an indicator of difficulty in cognitive processing, and the pupil expands as cognitive effort improves in the learning process and as the degree of individual curiosity or immersion increases (Pomplun & Sunkara, 2003; Porta, Ricotti, & Perez, 2012). Therefore, pupil size may increase when learners are expending cognitive effort to solve a problem according to a problem-solving strategy. Therefore, it may be unreasonable to infer cognitive load based on change in pupil size alone. Second, subjective cognitive load based on recalled cognitive load score was lower in the group that had high similarity in problem-solving strategy. This difference was statistically significant. Looking at the comments left by learners within the actual recall stimulus experiment, the group with low similarity in problem-solving strategy experienced the greatest cognitive difficulty in problem solving and reported being unsure of the correct answer. This entailed confusion and a sense of difficulty. On the other hand, the group with a high similarity in problem-solving strategy were able to approach problem solving more easily. Even if the problem seemed difficult, they quickly found the correct answers using their strategy and indicated that doing so was easy. Third, the time spent in problem solving was shorter in groups with high similarity to the problem-solving strategy, and the differences were statistically significant. Thus, the groups that had a degree of similarity in their problem-solving strategy did not acquire a more efficient problem-solving strategy than the upper group, and it took more time in this group to process information due to cognitive overload in problem-solving. Lastly, the differences in the result indicators for problem solving among groups classified according to the similarity of problem solving strategies and the results of the independence test were examined. The results of problem solving showed that the group with high similarity to the problem-solving strategy had a higher probability of obtaining the correct answer, and this difference was statistically significant. In addition, Fisher’s exact test indicated a significant relationship between the group classified according to the similarity of problem-solving strategy and the problem-solving results. This study, therefore, proved that the selective attention pattern of learners, cognitive load, and even problem-solving results can be inferred from the scanpath represented by the problem-solving strategy alone. A correlation analysis was conducted to examine whether selective attention and cognitive load indicators were correlated with the problem-solving results. The indicators that were directly correlated with problem-solving results on an overall level were positive selective-attention indicators and mean pupil-dilation indicators. The positive selective attention indicators showed positive correlation, and the pupil-dilatation mean showed negative correlation. On the other hand, no significant correlation was found between the independent variable and the dependent variable in the group classified according to the level of similarity in problem-solving strategy. This is likely because the total number of subjects was divided by groups. As can be seen in many empirical studies, correlation sizes become very unstable in cases of a small number of samples (Schonbrodt & Gerstenberg, 2012; Schonbrodt & Perugini, 2013). Thus, the number of samples classified according to the similarity of problem-solving strategies decreased, which also affected the results of the correlation analysis. Logistic regression analysis was used to develop a predictive model for the problem-solving results in relation to selective attention and cognitive load indicators. First, pupil dilation at the overall level negatively predicted problem-solving results in a statistically significant way. Second, positive selective attention statically predicted the results of problem solving, also in a statistically significant way. Therefore, the ratio of students’ gaze at the information section required for problem solving and the amount of pupil expansion in problem solving were proven to be useful indicators for predicting the results of problem solving. As a result of logistic regression analysis in the group classified according to similarity in problem-solving strategy above and below, it was found that mean pupil dilation and positive selective attention index did not significantly predict the results of problem solving in the group of the level of similarity. In the group below the similarity level of the problem-solving strategy, such as the overall level, the mean pupil dilation negatively predicted the problem-solving results, and positive selective attention statistically predicted the problem-solving results. This result was also statistically significant. To determine whether if mean pupil dilation had a moderating effect on positive selective attention in predicting problem-solving results, a moderated regression analysis centered on the variable mean was conducted, and positive selective attention at the overall level showed a moderate relationship between mean pupil dilation and the problem-solving result. That is, the greater the mean pupil dilation, the lower the probability of reaching the correct answer but the greater the positive selective attention, such that the confrontational effect in the relationship direction changes. However, at the level of similarity in problem-solving strategies, logistic regression analysis did not show statistically significant results. At the level of similarity in problem-solving strategy, positive selective attention did not moderate the relationship between mean pupil dilation and problem-solving results. Examining the reasons for these results, positive selective attention indicators of group learners in cases of similarity in problem-solving strategies were identified. Learners in the group, within the case of similarity in problem-solving strategies, reported a very low percentage of positive selective attention, and as a result of mean-centering for control effects analysis, the average of positive selective attention ratio was recorded as a negative number. Most of the learners in the group by similarity in problem-solving strategy had difficulty finding the information section necessary for problem solving, and as a result, the moderating effects of positive selective attention were not entirely clear. Another consideration here is that the power of the statistical inferences decreased as the number of subjects classified into groups decreased following logistic regression analysis (Cohen, 1988). In particular, the moderation effects test indicated the possibility that the interaction effects, which were made impossible by dividing the sample into several subgroups, were incorrectly created (Maxwell & Delany, 1993), and the problem of weakening the power (Han, 2002). This study exploratively analyzed information processing in relation to learners’ problem-solving strategies in a domain-general problem-solving strategy learning situation, and it utilizes multimodal data obtained from learners in the course of their problem-solving process. This study adopts a multimodal learning analytics approach, seeking to empirically analyze states. In addition, learners were clustered according to the problem-solving strategy pattern and quantitatively and qualitatively compared and analyzed the cognitive state occurring in the problem-solving process. And the relationship between the individual’s cognitive state indicators and the results of problem solving was verified through a predictive model. This can be said to be of teaching-learning significance in that it lays the theoretical foundation for intelligent, personalized prescriptions. The specific significance and implications of the results of the study are as follows. First, systematic instructional design for adaptive learning was broadened through the application of multimodal learning analytics. This study collects, analyzes, and interprets multimodal data, such as voluntary scanpath, selective attention, problem-solving time, pupil dilation, and self-report responses to process information that changes during learning, as well as to capture the cognitive state. From a systematic design point of view, insight can thus be provided into the development of a new teaching-learning design model of adaptive learning that can adapt to changes in learners’ learning status by capturing the individual cognitive and psychological states that change in real time in the process of interaction between individuals and contents. Second, a novel methodology of quantitative analysis for cognitive information processing reflecting problem-solving strategies was adopted. Here, a learner’s cognitive information processing is taken as an attribute including temporality and learner individuality, and this was analyzed by an index that fully reflected this. Therefore, to consider temporality (order), the ‘Trending Scanpath’ was extracted using the STA algorithm, and a new methodology was adopted to calculate the similarity between the ‘Trending Scanpath’ and the individual learner’s gaze path to reflect learner individuality. This has potential value in application to the field of education, such as diagnosing whether a learner is focused, not only in a problem-solving situations, but also in online learning, identifying non-learning states such as drowsiness, and restlessness, as well as giving warnings or alarms. Is expected to be large. Third, in a learning situation that incorporates problem solving, indicators were developed to infer the learner’s cognitive state, and the relationship with the results of problem solving were empirically identified. In previous studies using eye tracking, most of the main variables of visual behavior were provided by the eye-tracker data, such as gaze-fixation frequency, gaze-retention duration, saccade frequency, and saccade distance were investigated. However, this study is meaningful in that the scanpath forms a problem-solving strategy, the refixation saccade, and the gaze-fixation ratio in a specific AOI area are newly presented in terms of selective attention through meaning being assigned to visual behavior. In addition, it can be expected that the relationship between these indicators and the results of problem solving can be empirically verified in a predictive model that can be used as basic data for teaching and learning design. In particular, it was found that positive selective attention not only statistically predicts problem solving results, but also that mean pupil dilatation is a moderating variable in predicting problem solving results. This suggests that if learners experience cognitive difficulties in problem-solving situations, lower cognitive load can be helped by presenting the key information sections necessary for problem solving as visual cues. The limitations of this study and subsequent studies based on these limitations are as follows. First, the scanpath analysis methodology used in this study was only developed relatively recently, and it is somewhat unreasonable to generalize from its results because empirical verification is not commonly done in the field of education. Therefore, empirical verification is needed in various learning environments and conditions in the future. Examples of this include verification in the learning environment according to whether visual cues are presented, verification by type of task or complexity, and comparison of differences according to the learner’s prior strategy. Second, in this study, experiments were conducted with only one problem, and information processing and changes in cognitive state were not investigated in relation to individual problem-solving strategies. Future study is needed to compare and verify changes in the characteristics of individual scanpaths and the similarity of problem-solving strategies in relation to the acquisition of problem-solving strategies during learning in relation to various problems. Third, this study was an exploratory analysis of problem-solving strategies and cognitive states that occur in situations of problem-solving learning, and the effects of appropriate prescriptions were not investigated. In follow-up study, the effectiveness of learner problem-solving strategies and cognitive states through an automated algorithm should be analyzed in real time and to obtain a personalized prescription for each individual accordingly. Fourth, this study was conducted within strictly controlled experiments to collect physiological and psychological data. Therefore, it is somewhat difficult to generalize to actual learning situations. Further, pupil dilation responds sensitively to environmental changes such as external noise, laboratory temperature, and illumination. Therefore, it is suggested that the results be verified in additional learning situations through the use of physiological and psychological data that react less sensitively to changes in the external environment, such as microsaccade, heart rate, and skin temperature changes. Fifth, the selective attention and cognitive load indicators assumed in this study of refixation saccade, negative selective attention, recalled cognitive load score, and problem-solving time were not significantly correlated with problem-solving results, so they were not used as predictors. Therefore, it is necessary to expand and develop further research and development of valid and objective indicators that can represent the cognitive state in the learning process with subsequent research.