문제해결 교수학습을 지원하는 학습분석 시스템 프레임워크 개발

Abstract

빅데이터 기술의 발전에 따라 교수학습 과정으로부터 데이터를 대량으로 수집하고 분석할 수 있게 되면서 교수학습 과정에 대한 의미 있는 인사이트를 도출하고자 학습분석학이 등장하였다. 학습분석학이 최근 디지털 교수학습 플랫폼을 작동하게 하는 이론적, 기술적 토대로 손꼽힘에 따라(박연정, 조일현, 2014; Park & Jo, 2015), 교수학습 플랫폼으로부터 수집된 교수학습 과정 데이터를 분석한다거나 플랫폼을 설계하기 위한 학습분석의 활용에 관해 학계와 사회의 이목이 쏠리고 있다(김은희, 최효선, 2021; Lepouras et al., 2014). 실시간으로 학습자의 수행을 모니터링하고 적시에 적절한 피드백을 제공하는 것이 학습자의 문제해결을 촉진한다는 점에서, 문제해결 교수학습을 지원하기 위한 학습분석학의 활용에 관한 논의가 이어지고 있다(Tempelaar et al., 2015). 이에 본 연구에서는 복잡한 문제해결 교수학습을 설계하기 위한 대표적인 모형인 van Merriënboer의 4C/ID 모형(van Merriënboer & Kirschner, 2018)에서 제시하는 설계 원리를 살펴보고자 하였다. 그리고 이를 학습분석과 결합하는 것을 통해 4C/ID 모형을 기반으로 하는 교수학습 과정에서의 데이터의 수집, 분석 및 환류의 구조를 수립함으로써 테크놀로지 기반 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크를 개발하였다. 이후, 이렇게 도출한 프레임워크가 작동할 수 있는 기반이 되는 학습분석 시스템의 구조와 구성 요소를 구조화하였고, 프레임워크에 따른 학습분석 시스템의 워크플로를 도출하였다. 이와 같은 연구 목적에 따라 설정한 구체적인 연구 문제는 다음과 같다. [연구 문제 1] 4C/ID 모형 기반의 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크의 구조와 특징은 무엇인가? 1-1. 4C/ID 모형을 기반으로 하는 문제해결 교수학습의 특성과 이를 설계하기 위한 핵심 원리는 무엇인가? 1-2. 4C/ID 모형을 기반으로 하는 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 프레임워크의 구조와 특징은 무엇인가? [연구 문제 2] 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 시스템의 구조와 특징은 무엇인가? 2-1. 교수학습을 지원하는 학습분석 시스템의 정의와 특징은 무엇인가? 2-2. 교수학습을 지원하는 학습분석 시스템의 구성 요소에는 무엇이 있는가? 2-3. 문제해결 교수학습의 설계와 실행을 지원하는 학습분석 시스템의 구조와 특징은 무엇인가? 이와 같은 연구 목적을 달성하기 위해 본 연구에서는 먼저, 체계적 문헌 고찰 방법을 활용하여 문제해결 교수학습을 지원하는 학습분석 시스템 프레임워크의 초안을 도출하는 데에 필요한 문헌을 수집하였다. 이를 위하여 크게 4C/ID 모형, 그리고 학습분석 프레임워크 및 학습분석 시스템과 관련된 선행 연구를 수집하였다. 4C/ID 모형이라는 기존의 문제해결 교수학습 설계 모형의 구조와 특징을 학습분석학적인 용도로 ‘적합화’하기 위해서, 해당 모형의 구조와 특성을 중심으로 귀납적으로 수집된 선행 문헌을 분석하고 종합하는 절차를 통해 이론적 프레임워크를 산출하였다(Valpio et al., 2020). 다음으로, 이렇게 도출한 문제해결 교수학습 지원 학습분석 시스템 프레임워크의 초안에 대한 검토를 위해 전문가 인터뷰를 진행하였다. 이후 인터뷰 내용을 참고하여 연구 결과를 수정한 후, 타당화 설문지를 통해 전문가들에게 재검토를 받아 최종안을 도출하였다. PRISMA 프레임워크(Page et al., 2021)에 따라서 총 99건의 문헌이 최종 분석 대상으로 선정되었다. 이에 대한 분석과 종합을 통해 도출한 연구 결과는 다음과 같다. 첫째, 학습자의 복잡한 문제해결 교수학습을 지원하기 위해 4C/ID 모형의 뼈대가 되는 네 가지 청사진 요소와 학습분석학적 접근의 결합 방안을 모색하고 이를 모형화하였다. van Merrienboer와 Sluijsmans(2009)의 연구에서 제시된 P-A-S 모형을 적용하여, 개별 학습자에게 맞춤화된 하위 과제와 과제 클래스를 제시하는 방안을 도출하였다. 그리고 지원 정보, 절차 정보, 부분 과제 연습과 같이 학습 과제 수행을 위한 여러 유형의 스캐폴딩을 제시하는 전략을 학습분석학적 관점에서 논하였다. 둘째, 이렇게 도출한 4C/ID_LA 프레임워크가 실제로 디지털 교수학습 플랫폼에서 작동하기 위한 학습분석 시스템 구조를 도출하였다. 도출한 시스템 구조는 크게 데이터베이스 레이어, 애널리틱스 레이어, 인터페이스 레이어로 나뉘며, 각 레이어를 구성하기 위한 하위 구성 요소를 규명하였다. 마지막으로, 4C/ID_LA 프레임워크에 따라 진행되는 문제해결 교수학습 단계에 맞추어 학습자와 시스템의 워크플로를 구체화하여 해당 프레임워크가 시스템의 설계를 위해 실제적으로 활용될 수 있는지 검토하였다. 본 연구의 의의는 다음과 같다. 먼저, 복잡한 문제해결 교수학습 설계 모형으로 꼽히는 4C/ID 모형의 잠재력과 가능성에 대해 재고찰하였다는 데에 의의가 있다. 실생활 과제 및 전체 과제 해결을 위한 지식과 기술의 습득을 목표로 하는 4C/ID 모형은 문제해결 역량 함양에 대한 요구와 밀접하게 맞닿아 있다. 이러한 점에서 본 연구에서는 4C/ID 모형을 디지털 교수학습 환경에서의 문제해결 교수학습을 지원하는 기반으로 활용하기 위한 가능성을 확인할 수 있었다. 둘째, 본 연구는 4C/ID 모형이라는 교수학습 설계 모형을 학습분석과 결합하는 것을 통해 적응형 교수학습 체제 설계를 위한 이론적 틀로 적합화 및 증강하고자 하였다는 의의를 지닌다. 이때, 학습분석학적 접근을 결합하는 데에 있어서 기존의 4C/ID 모형에서 고려하거나 보완해야 할 지점들을 규명하는 것을 통해, 교수학습 설계 모형과 학습분석 접근이 서로를 증강하는 형태로 결합 모형이 도출될 수 있었다. 셋째, 본 연구는 단순히 4C/ID 모형과 학습분석을 결합하는 데에서 그치지 않고 이렇게 도출된 모형의 적용 가능성을 높이기 위해서 이를 작동시키기 위한 학습분석 시스템을 구조화하였다. 이때 기술적인 고려가 우선이 아닌, 교수학습 주체의 활동과 워크플로를 중심으로 하여 시스템이 수집하고 관찰해야 할 데이터와 학습 활동부터 설계하는 것을 통해서 학습분석 시스템과 교수학습 과정의 유기적 연결성을 높인 것이다. 요컨대, 본 연구는 교수학습 이론 및 체제 설계와 학습분석학의 연계를 도모한다는 점에서 학습분석학이 지닌 교수학습 및 교수학습 체제 설계적 잠재력을 확인하려는 시도로서의 의의를 지닌다(조일현 외, 2019). 무엇보다도, 소프트웨어 공학자나 정보 시스템 설계자가 아닌 교육공학자에 의해서 학습분석 시스템의 설계 및 실행을 위한 이론적이고 실제적인 기틀을 마련하였다는 것이 가장 큰 의의이다. 본 연구의 한계점은 다음과 같다. 첫째, 본 연구의 핵심이 되는 이론적 틀로서 4C/ID 모형 하나만을 사용하였다는 것이 한계로 지적될 수 있다. 4C/ID 모형의 특성을 고려하였을 때 교수학습 과정에서 관찰해야 할 행동을 명확하게 정의하고 있어 학습분석(조일현 외, 2019)과의 연결이 잘 이루어졌다. 그럼에도 단 하나의 이론으로부터 연구 결과가 도출되었다는 점을 고려하여, 본 연구에서 제시한 결과들을 활용하여 문제해결 교수학습을 설계하고 실행하는 것을 반복하며 다른 교수학습 이론 및 전략을 보완할 수는 없는지에 관해 검토해 보아야 한다. 둘째, 본 연구에서 학습분석 시스템 구조를 도출하는 데에 있어 ‘학습분석 아키텍처’, ‘학습분석 시스템’과 같은 검색어를 활용하다 보니, 대시보드와 관련된 문헌들은 분석 대상에서 제외되었다. 특히, 4C/ID와 P-A-S의 과정을 고려하였을 때 교수학습 주체들에게 어떻게 정보가 제시되어야 할지, 그리고 전반적인 문제해결 교수학습 과정에서 인지적, 정의적 측면뿐만이 아니라 성찰을 지원하는 메타적 대시보드 설계가 매우 중요한 만큼 이에 관한 추가적인 연구가 필요하다. 셋째, 도출된 학습분석 시스템의 구조와 구성 요소는 수집된 문헌을 바탕으로 구성되었으며, 교수학습 설계 이론을 기반으로 하여 시스템 워크플로가 구성되었다. 따라서 각 레이어를 이루는 세부적인 하위 요소나 요소 간의 연결에 있어 기술적 호환이나 구현 과정에서의 성능 효율성과 같은 이유에 의해 다른 것으로 대체되거나 배제될 가능성이 존재한다. 이러한 이유로 본 연구에서 도출된 학습분석 시스템 구조도에 관해서는 기술적인 검토가 추가로 이루어질 필요가 있다. 넷째, 본 연구에서 도출된 시스템 프레임워크나 워크플로는 실제로 이를 토대로 학습분석 시스템을 설계하고 실행해 보는 과정에서 보완될 수 있다는 특징을 지닌다. 따라서, 실제로 본 연구 결과를 토대로 시스템을 설계하고 실행하는 과정이 진행됨에 따라, 설계된 학습분석 시스템과 함께 본 연구 결과 역시 보완되고 발전할 것으로 기대한다.;With the advancement of big data technology, learning analytics has emerged to derive meaningful insights from the teaching and learning process by collecting and analyzing large amounts of data from these processes. As learning analytics is recently being recognized as the theoretical and technological foundation for operating digital teaching and learning platforms (Park & Jo, 2015), there has been growing academic and societal interest in the analysis of teaching and learning process data collected from such platforms and the use of learning analytics for platform design (Kim & Choi, 2021; Lepouras et al., 2014). The growing interest in utilizing learning analytics to support problem-solving teaching and learning arises from its ability to monitor learners' performance in real time and provide timely and appropriate feedback to facilitate effective problem-solving (Tempelaar et al., 2015). This study aims to explore the design principles proposed by van Merriënboer's 4C/ID model (van Merriënboer & Kirschner, 2018), a representative model for designing complex problem-solving teaching and learning. By combining this model with learning analytics, a framework for collecting, analyzing, and feeding back data in problem-solving teaching and learning processes based on the 4C/ID model was developed. Subsequently, the structure and components of the learning analytics system necessary for the framework's operation were structured, and the workflow of the learning analytics system according to the framework was derived. The specific research questions are as follows: [RQ1] What are the structure and characteristics of a learning analytics framework that supports the design and implementation of problem-solving teaching and learning based on the 4C/ID model? [RQ1-1] What are the characteristics of problem-solving teaching and learning based on the 4C/ID model and the key principles for its design? [RQ1-2] What are the structure and characteristics of a learning analytics framework that supports the design and implementation of problem-solving teaching and learning based on the 4C/ID model? [RQ2] What are the structure and characteristics of a learning analytics system that supports the design and implementation of problem-solving teaching and learning? [RQ2-1] What are the definition and characteristics of a learning analytics system that supports teaching and learning? [RQ2-2] What are the components of a learning analytics system that supports teaching and learning? [RQ2-3] What are the structure and characteristics of a learning analytics system that supports the design and implementation of problem-solving teaching and learning? To achieve the research objectives, this study first used a systematic literature review methodology to collect the necessary literature for drafting a learning analytics system framework that supports problem-solving teaching and learning. Specifically, prior research related to the 4C/ID model, learning analytics frameworks, and learning analytics systems were gathered. To adapt the structure and characteristics of the existing problem-solving teaching and learning design model, the 4C/ID model, for learning analytics purposes, this study followed a theory-informed inductive research procedure to analyze and synthesize relevant literature (Valpio et al., 2020). Subsequently, expert interviews were conducted to review the initial draft of the learning analytics system framework for supporting problem-solving teaching and learning. Based on the interview, the research results were revised, and a validation questionnaire was administered to experts for further review, leading to constructing the final draft. According to the PRISMA framework (Page et al., 2021), a total of 99 studies were selected for final analysis. The results derived from this analysis are as follows: First, this study explored and modeled ways to combine the four blueprint elements of the 4C/ID model, which form its backbone, with learning analytics approaches to support complex problem-solving teaching and learning. By applying the P-A-S model proposed by van Merrienboer and Sluijsmans (2009), this study identified ways to present customized sub-tasks and task classes to individual learners. This study discussed strategies for providing various types of scaffolding, such as supportive information, procedural information, and part-task practice, from a learning analytics perspective. Second, this study derived the structure of a learning analytics system that could operate on a digital teaching and learning platform based on the 4C/ID_LA framework. The derived system structure is divided into the database layer, analytics layer, and interface layer, with the sub-components necessary for each layer identified. Finally, this study detailed the workflows of learners and the system according to the stages of problem-solving teaching and learning within the 4C/ID_LA framework to examine whether the framework could be utilized for system design. The significance and limitations of this study are as follows: First, this study reconsidered the potential and possibilities of the 4C/ID model, recognized for its capacity to design complex problem-solving teaching and learning. The 4C/ID model aims to acquire the knowledge and skills needed to solve real-life tasks and whole-task solutions, aligning closely with the demand for problem-solving competence. This study confirmed the potential of using the 4C/ID model as a basis for supporting problem-solving teaching and learning in digital learning environments by thoroughly examining its key ideas and limitations. Second, this study aimed to adapt the 4C/ID model for designing adaptive teaching and learning systems by integrating it with learning analytics. By identifying points to consider or supplement in combining the learning analytics approach with the existing 4C/ID model, this study could develop a combined model where the teaching and learning design model and learning analytics approach enhance each other. Third, this study did not stop at combining the 4C/ID model with learning analytics but also structured a learning analytics system to increase the applicability of the derived model. By focusing on the activities and workflows of teaching and learning subjects rather than technical considerations first, this study aimed to improve the alignment between the learning analytics system and the teaching and learning process by designing the data and learning activities the system should collect and observe from the beginning. In summary, this study holds significance as an attempt to identify the pedagogical and instructional system design potential of learning analytics by promoting the integration of instructional theories and system design with learning analytics (Jo et al., 2019). Most notably, the greatest significance lies in establishing the theoretical and practical foundation for the design and implementation of a learning analytics system by educational technologists, rather than software engineers or information systems designers. The limitations of this study are as follows: First, a potential limitation is that the study used only the 4C/ID model as its core theoretical framework. Considering the characteristics of the 4C/ID model, it effectively defined the behaviors to be observed in the teaching and learning process, facilitating its connection with learning analytics (Jo et al., 2019). However, since the study results were derived from a single theory, future research should examine whether the proposed results can be supplemented with other teaching and learning theories and strategies by repeatedly designing and implementing problem-solving teaching and learning based on these results. Second, the scope of the literature reviewed excluded papers directly related to dashboards due to the use of keywords such as 'learning analytics architecture' and 'learning analytics system.’ Considering the importance of presenting information to teaching and learning subjects and designing meta-cognitive dashboards that support reflection in the overall problem-solving teaching and learning process, additional research on this aspect is necessary. Third, the structure and components of the derived learning analytics system were based on the literature and composed with teaching and learning design theories, meaning specific sub-components or connections within each layer might be replaced or excluded for technical compatibility or efficiency reasons during actual software layer composition. Therefore, additional technical reviews of the learning analytics system structure derived in this study are necessary. Fourth, the system framework and workflows derived in this study may be refined through the actual design and implementation of the learning analytics system based on these results. Consequently, it is expected that the designed learning analytics system and the study results will co-evolve as the design and implementation process progresses.