STEM 탐구 기반 학습에서 센스메이킹 스캐폴딩을 위한 AI 챗봇 설계와 효과 분석

Abstract

본 연구의 목적은 중학교 STEM 탐구 기반 학습（Inquiry-Based Learning, IBL） 수업에서 학습자의 센스메이킹을 지원하기 위한 AI 챗봇 기반 스캐폴딩 도구인 탐구센스봇을 설계 및 개선하고, 이를 실제 수업에 적용하여 학생들의 탐구 기술에 미치는 영향 및 챗봇 상호작용 과정에서 나타나는 메커니즘 추론 양상을 탐색하는 데 있다. 이러한 연구목적은 STEM 교육과 IBL에서 학습자가 실제 문제를 탐구하고 설명을 구성하는 과정이 중요해지고 있다는 교육적 맥락과 관련된다. 오늘날 과학기술 기반 사회에서는 학습자가 여러 학문 분야의 지식을 통합적으로 활용하고, 실제 문제 상황에서 비판적이고 창의적으로 사고할 수 있는 역량이 강조되고 있다. 이러한 흐름 속에서 STEM 교육은 학습자가 과학, 기술, 공학, 수학 지식을 통합적으로 활용하여 실제적 문제를 해결하도록 돕는 교육적 접근으로 주목받고 있으며, STEM 교육을 효과적으로 구현하기 위한 학습방법으로 IBL 또한 주목받고 있다. IBL은 학습자가 질문을 설정하고, 가설을 세우며, 실험과 관찰을 통해 자료를 수집하고, 이를 바탕으로 결론을 도출하는 자기주도적 탐구 활동이다. 그러나 IBL이 의미 있는 학습으로 이어지기 위해서는 학습자가 단순히 탐구 절차를 수행하는 것에 그치지 않고, 자신이 관찰한 현상과 기존 이해 사이의 간극을 인식하고 이를 설명하기 위해 자신의 생각을 구성하고 정교화하는 과정이 필요하다. 이러한 과정은 센스메이킹과 관련된다. 센스메이킹은 학습자가 새롭게 마주한 현상을 자신의 기존 이해만으로 충분히 설명하기 어려운 상황에서 현상의 원인과 기저 메커니즘을 탐색하고 설명을 구성해 나가는 과정이다. 특히 공학 설계 기반 STEM IBL에서는 학습자가 자신이 설계한 산출물이 어떻게, 왜 작용하는지를 설명해야 하므로, 현상에 관여하는 구성 요소, 구조, 속성, 작동 방식, 인과 관계 등을 연결하는 메커니즘 추론이 이 과정에서 중요한 사고 과정으로 작용한다. 이와 함께 IBL 과정에서 학습자는 자신의 이해만으로는 현상이나 결과를 충분히 설명하기 어려운 불확실성 상황을 경험하게 된다. 이러한 불확실성은 단순히 제거되어야 할 장애물이 아니라, 학습자가 자신의 이해를 점검하고 설명을 정교화하도록 하는 계기로 기능할 수 있다. 따라서 IBL에서 학습자가 불확실성을 생산적으로 다루고 센스메이킹을 수행하기 위해서는 자신의 초기 생각을 드러내고, 자신의 설명의 부족한 부분을 인식하며, 관찰 결과를 자신이 습득한 자료를 바탕으로 더 일관된 설명을 구성하도록 돕는 스캐폴딩이 필요하다. 그러나 실제 교실 상황에서 교사가 모든 학습자의 센스메이킹 과정을 실시간으로 파악하고 개별적으로 지원하는 데에는 한계가 있다. 다수의 학생이 동시에 탐구 활동을 수행하는 상황에서 교사 1인이 각 학생의 사고 흐름을 지속적으로 확인하고 그에 맞는 질문과 피드백을 제공하기는 어렵다. 이러한 맥락에서 생성형 AI 챗봇은 학습자와 자연어 기반으로 상호작용하며, 학생의 응답에 따라 질문과 피드백을 제공할 수 있다는 특징을 지녀 IBL 과정에서 개별화된 스캐폴딩을 제공할 수 있는 도구로 주목받고 있다. 이를 바탕으로 기존의 AI 챗봇 기반 IBL 지원 연구들은 탐구 절차 안내, 내용 설명, 피드백 제공, 질문 기반 사고 확장 등 다양한 가능성을 보여주었다. 그러나 기존 연구들은 주로 탐구 수행 결과나 학습 성과의 향상 여부에 초점을 두었으며, 학습자가 챗봇과 상호작용하는 과정에서 실제로 어떠한 추론을 전개하고 설명을 구성하는지에 대한 과정적 분석은 상대적으로 부족하였다. 또한 IBL의 핵심 구성요소인 센스메이킹을 초점에 두고 AI 챗봇의 스캐폴딩 구조를 설계한 연구는 제한적이며, 공학 설계와 연계하여 구조와 작동 방식의 관계를 해석해야 하는 STEM 문제해결 맥락에서 학생의 센스메이킹을 지원하고 분석한 연구 역시 충분하지 않다. 이에 본 연구는 중학교 기술교과의 STEM IBL 수업에서 학습자의 센스메이킹을 지원하는 AI 챗봇 기반 스캐폴딩 도구인 탐구센스봇을 설계하고, 이를 실제 수업에 적용하여 그 효과와 학생-챗봇 상호작용에서 나타나는 메커니즘 추론 양상을 분석하였다. 본 연구의 STEM IBL 수업은 중학교 기술 교과 맥락에서 지진에 안전한 구조물을 설계하고 실험하는 탐구 활동으로 구성되었다. 학생들은 기본 건물 모형과 가새를 적용한 구조물이 지진에 흔들리는 양상을 관찰하고 이를 바탕으로 연구 질문, 가설, 실험 계획, 결과 해석 및 결론을 구성하였다. 탐구센스봇은 이 과정에서 학생에게 정답이나 설계안을 직접 제공하기보다 센스메이킹 단계와 학생 응답 유형에 따라 질문 중심의 스캐폴딩을 제공하도록 설계되었다. 본 연구의 연구문제는 다음과 같다. 첫째, 센스메이킹 스캐폴딩을 제공하는 챗봇 사용 여부에 따라 학생들의 IBL 탐구 기술에는 어떠한 차이가 나타나는가? 둘째, 챗봇과의 상호작용에서 나타난 학생들의 센스메이킹 과정은 메커니즘 추론을 통해 단계별로 어떻게 구성되는가? 셋째, 탐구 기술 수준에 따른 상∙하위 집단의 메커니즘 추론 요소는 센스메이킹 단계별로 어떠한 순서로 나타나는가? 이를 살펴보기 위해 본 연구는 크게 두 단계로 수행되었다. 1단계에서는 AI 챗봇 탐구센스봇을 설계하고 개선하였다. 이를 위해 Pedaste et al. （2015）의 프레임워크와 Ha et al. （2024）의 센스메이킹 단계 및 단계별 교사 지원 전략을 바탕으로 탐구 학습지 및 AI 챗봇을 개발하였다. 이후 중학교 과학 및 기술 교사 4명을 대상으로 한 검토와 사용성 평가를 통해 1차 수정을 수행하였으며, 중학교 2학년 학생 5명을 대상으로 사용성 평가를 실시하여 2차 수정을 거쳐 최종 버전을 개발하였다. 2단계에서는 개선된 탐구센스봇을 실제 중학교 STEM IBL 수업에 적용하고 그 효과를 분석하였다. 연구 대상은 서울 소재 중학교 2학년 학생 82명이었으며, 실험집단은 탐구센스봇을 활용하여 탐구 활동을 수행하였고, 대조집단은 챗봇 없이 동일한 탐구 활동을 수행하였다. 연구문제 1을 분석하기 위해 학생들의 탐구 기술을 평가하여 탐구 기술의 총점과 하위 영역의 성취 차이를 독립표본 t-검정과 Mann-Whitney U 검정을 통해 분석하였다. 연구문제 2에서는 실험 집단 학생들의 챗봇 대화로그를 메커니즘 추론 코딩 스킴에 따라 코딩한 뒤, 인식 네트워크 분석（Epistemic Network Analysis, ENA）을 활용하여 센스메이킹 단계별 메커니즘 추론 요소 간 연결 구조를 분석하였다. 연구문제 3에서는 실험집단을 탐구 기술 수준에 따라 상위 집단과 하위 집단으로 구분하고, 순서화된 네트워크 분석（Ordered Network Analysis, ONA）을 통해 각 집단의 메커니즘 추론 요소 간 순서화된 연결 양상을 분석하였다. 연구 결과는 다음과 같다. 첫째, 탐구센스봇을 활용한 실험집단은 대조집단보다 탐구 기술 총점에서 유의하게 높은 성취를 보였다. 영역별로는 연구 질문 설정, 연구 가설 설정, 실험 계획, 결론 도출에서 실험집단이 대조집단보다 유의하게 높은 성취를 보였다. 반면, 실험 수행과 실험 결과 분석 및 해석 영역에서는 두 집단 간 차이가 통계적으로 유의하지 않았다. 이는 탐구센스봇이 실제 물리적 실험 수행이나 자료 처리 자체보다는 연구 질문, 가설, 실험 계획, 결론과 같이 학생들이 자신의 사고를 언어화하고 구조화해야 하는 탐구 수행 영역을 지원했을 가능성을 보여준다. 둘째, 챗봇과의 대화에서 나타난 학생들의 메커니즘 추론은 센스메이킹 단계에 따라 서로 다른 중심 코드와 연결 구조로 구성되었다. 초기 탐색 단계에서는 목표 현상 기술을 중심으로 관찰된 현상에 대한 초기 설명이 형성되었고, 이해의 간극 인식 단계에서는 탐구의 초반에 수행한 기본 건물 관찰 활동과 탐구 후반에 수행한 실험 결과 해석 활동의 맥락에 따라 목표 현상 기술 또는 가설 판단을 중심으로 설명의 부족한 부분을 점검하는 양상이 나타났다. 이어서 자원 탐색 단계에서는 구성 요소의 구조 식별, 활동 식별, 구성 요소 속성 식별이 보다 두드러지게 연결되었으며, 마지막으로 해결방안 종합 단계에서는 이러한 요소들이 연쇄적 추론과 함께 연결되며 자신이 관찰한 구조물의 흔들림과 안정성을 설명하는 통합적 설명으로 구성되는 양상이 나타났다. 즉, 메커니즘 추론의 중심은 전반적으로 현상 관찰, 설명의 점검, 구조 및 작동의 탐색, 통합적 설명의 순서로 이동하는 양상을 보였으며, 이는 센스메이킹 단계의 진행과 맞물려 조직된 것으로 해석되었다. 셋째, 탐구 기술 수준에 따른 상위 집단과 하위 집단은 각 센스메이킹 단계에서 두드러진 핵심 노드의 구성에서는 유사한 양상을 보였으나, 그 노드들 사이에서 강조된 전이 양상에서는 차이를 보였다. 상위 집단의 경우, 핵심 노드들 사이에서 양방향 전이가 두드러지며, 구조, 속성, 작동, 이유를 통합하고 조직하는 경향을 보였다. 반면 하위 집단의 경우, 특정 구조적 특징에서 기능이나 이유 설명으로 일방향적으로 연결하거나, 일부 단계에서 불확실성이 다른 요소와 연결되면서 설명을 충분히 정리하지 못하는 양상을 보였다. 다만 SVD1과 SVD2 축에 대한 Mann-Whitney U 검정 결과 상위 집단과 하위 집단 간 차이는 통계적으로 유의하지 않았으므로, 이러한 차이는 탐색적 경향으로 해석하였다. 이러한 결과를 종합하면, 탐구센스봇은 중학교 STEM IBL 수업에서 학생들의 탐구 기술과 센스메이킹 과정을 지원할 수 있는 가능성을 보여주었다. 특히 본 연구는 AI 챗봇이 학습자에게 정답을 제공하는 도구가 아니라, 센스메이킹 단계에 맞춘 질문을 통해 학생들이 관찰한 현상, 이해의 간극, 구조적 특징, 작동 방식, 인과적 관계를 점진적으로 연결하도록 지원할 수 있음을 보여주었다. 또한 챗봇과의 대화 로그를 메커니즘 추론 관점에서 분석함으로써, AI 챗봇 기반 스캐폴딩이 학생의 사고 과정에 어떻게 개입하고, 학생들이 그 과정에서 어떠한 방식으로 설명을 구성해 나가는지를 과정적으로 보여주었다. 본 연구의 이론적 시사점은 다음과 같다. 첫째, AI 챗봇 기반 IBL 지원 연구의 초점을 산출물 중심의 효과 검증에서 학습자의 사고 과정 분석으로 확장하였다. 둘째, AI 챗봇 설계에서 센스메이킹을 중심 원리로 설정하고, 단계별 질문과 분기 규칙을 통해 이를 구현할 수 있는 가능성을 제시하였다. 셋째, STEM IBL에서 학습자의 센스메이킹을 구체적으로 이해하기 위한 분석 렌즈로서 메커니즘 추론이 유용하게 활용될 수 있음을 보여주었다. 실천적 시사점은 다음과 같다. 첫째, AI 챗봇 기반 스캐폴딩은 학습자가 자신의 이해를 점검하고 설명을 정교화해야 하는 시점을 중심으로 제공될 필요가 있다. 둘째, 학습자의 수준에 따라 챗봇 스캐폴딩을 보다 세분화된 방식으로 제공할 필요가 있다. 상위 학습자에게는 추론 요소 간 연결을 확장하고 통합하도록 돕는 질문이, 하위 학습자에게는 관찰한 현상, 구조적 특징, 작동 방식을 보다 명확히 연결하여 이해를 하고 이를 기반으로 사고를 확장할 수 있는 질문이 요구된다. 셋째, AI 챗봇은 교육 현장에서 인간 교사가 모든 학생에게 실시간으로 제공하기 어려운 개별화된 질문과 피드백을 보완하는 협력적 도구로 활용될 필요가 있다.;The purpose of this study was to design and refine InquirySenseBot, an AI chatbot-based scaffolding tool intended to support students’ sensemaking in middle school STEM inquiry-based learning （IBL）, and to apply it in an actual classroom setting to examine its effects on students’ inquiry skills and the patterns of mechanistic reasoning during chatbot interaction. In today’s science- and technology-based society, learners are expected to integrate knowledge from multiple disciplines and think critically and creatively in real-world problem situations. In this context, STEM education has received attention as an educational approach that helps learners use knowledge from science, technology, engineering, and mathematics in an integrated way to solve authentic problems. IBL has also been recognized as an important instructional approach for implementing STEM education effectively. IBL is a student-centered inquiry activity in which learners formulate questions, generate hypotheses, collect data through experiments and observations, and draw conclusions based on the data. However, for IBL to lead to meaningful learning, students need to go beyond simply carrying out inquiry procedures. They need to recognize gaps between observed phenomena and their prior understanding. Sensemaking refers to the process in which learners explore the causes and underlying mechanisms of newly encountered phenomena and construct explanations when those phenomena cannot be fully explained by their existing understanding. In engineering design-based STEM IBL, mechanistic reasoning plays an important role in this process because students need to explain how and why their designed artifacts work by connecting components, structures, properties, operations, and causal relationships involved in the phenomenon. In addition, students experience uncertainty during IBL when they cannot fully explain phenomena or results based on their current understanding. Such uncertainty is not simply an obstacle to be removed. Rather, it can serve as an opportunity for learners to monitor their understanding and refine their explanations. Therefore, for learners to productively deal with uncertainty and engage in sensemaking in IBL, scaffolding is needed to help them reveal their initial ideas, identify insufficient parts of their explanations, and construct more coherent explanations based on observations and acquired information. However, in actual classroom settings, it is difficult for teachers to identify and individually support every student’s sensemaking process in real time. When many students conduct inquiry activities at the same time, a single teacher cannot continuously monitor each student’s thinking process and provide appropriate questions and feedback. In this context, generative AI chatbots have gained attention as tools that can provide individualized scaffolding in IBL because they interact with learners through natural language and provide questions and feedback based on students’ responses. Previous studies on AI chatbot-supported IBL have shown various possibilities, such as guiding inquiry procedures, explaining content, providing feedback, and expanding thinking through questions. However, these studies have mainly focused on whether chatbot interventions improve inquiry or learning outcomes. Relatively little research has analyzed, at the process level, what kinds of reasoning students develop and how they construct explanations while interacting with chatbots. In addition, studies that design AI chatbot scaffolding with sensemaking, a core component of IBL, as the central focus are limited. Research is also insufficient on supporting and analyzing students’ sensemaking in STEM problem-solving contexts where they need to interpret the relationship between structure and operation in connection with engineering design. Therefore, this study designed InquirySenseBot, an AI chatbot-based scaffolding tool, to support students’ sensemaking in a middle school STEM IBL class. The study then applied the chatbot in an actual classroom setting and analyzed its effects and the patterns of mechanistic reasoning that appeared in student-chatbot interactions. The STEM IBL class in this study was situated in a middle school technology education context and involved designing and testing earthquake-resistant structures. Students observed how a basic building model and braced structures shook during an earthquake simulation, and based on these observations, they formulated research questions, generated hypotheses, planned experiments, interpreted results, and drew conclusions. InquirySenseBot was designed not to provide direct answers or design solutions, but to offer question-based scaffolding according to phases of sensemaking and students’ response types. The research questions of this study were as follows. First, what differences are observed in students’ IBL inquiry skills depending on whether they use a chatbot that provides sensemaking scaffolding? Second, how are students’ sensemaking processes constructed through mechanistic reasoning in each phase of sensemaking during their interactions with the chatbot? Third, in what sequence do mechanistic reasoning elements appear across phases of sensemaking among high- and low- level groups based on inquiry skill level? To address these research questions, this study was conducted in two phases. In the first phase, InquirySenseBot was designed and refined. Based on the IBL framework of Pedaste et al. （2015） and the sensemaking phases and teacher support strategies suggested by Ha et al. （2024）, the inquiry worksheets and AI chatbot were developed. The prototype was then revised through expert review and usability tests with four middle school science and technology teachers. Usability tests were also conducted with five eighth-grade students, and the final version was developed through a second revision. In the second phase, the refined InquirySenseBot was implemented in an actual middle school STEM IBL class, and its effects were analyzed. The participants were 82 eighth-grade students from a middle school in Seoul. The experimental group conducted the inquiry activities using InquirySenseBot, whereas the control group conducted the same inquiry activities without the chatbot. To analyze Research Question 1, students’ inquiry skills were evaluated, and differences in total inquiry skill scores and subdomain scores were analyzed using independent samples t-tests and Mann-Whitney U tests. For Research Question 2, chat logs from the experimental group were coded based on a mechanistic reasoning coding scheme, and Epistemic Network Analysis （ENA） was used to analyze the connection structures among mechanistic reasoning elements across phases of sensemaking. For Research Question 3, the experimental group was divided into high- and low-level groups based on inquiry skill level, and Ordered Network Analysis （ONA） was used to analyze the ordered connection patterns among mechanistic reasoning elements in each group. The results were as follows. First, the experimental group that used InquirySenseBot showed significantly higher total inquiry skill scores than the control group. At the subdomain level, the experimental group showed significantly higher achievement in research question formulation, hypothesis formulation, experiment planning, and drawing conclusions. In contrast, there were no statistically significant differences between the two groups in conducting experiments or analyzing and interpreting experimental results. These findings suggest that InquirySenseBot may have supported inquiry performance areas in which students needed to articulate and structure their thinking, such as research questions, hypotheses, experiment plans, and conclusions, rather than areas related to physical experimentation or data processing itself. Second, students’ mechanistic reasoning in chatbot conversations was organized through different central codes and connection structures according to phases of sensemaking. In the initial engagement phase, students formed initial explanations centered on describing the target phenomenon. In the identification of gap phase, students examined insufficient parts of their explanations, centering either on descriptions of the target phenomenon or hypothesis judgment depending on the context of the basic building observation activity conducted in the early part of inquiry and the experimental result interpretation activity conducted later. In the exploration of resources phase, identification of component organization, activity identification, and property identification were more prominently connected. Finally, in the synthesis of solutions phase, these elements were connected with chaining, forming integrated explanations of the shaking and stability of the structures they observed. Overall, the focus of mechanistic reasoning shifted from observing phenomena, to examining gaps in explanations, exploring structures and operations, and constructing integrated explanations. This pattern was interpreted as being organized in relation to the progression of sensemaking phases. Third, high- and low-performing students showed similar patterns in the core nodes that appeared across phases of sensemaking, but they differed in the transition patterns emphasized among those nodes. In the high-performing group, bidirectional transitions among key nodes were prominent, and students tended to integrate structural organization, properties, operations, and reasons. In contrast, the low-performing group tended to show one-way connections from specific structural features to operational or causal explanations or showed patterns in which uncertainty was connected with other elements in some phases, suggesting that students’ explanations were not fully organized. However, Mann-Whitney U tests on the SVD1 and SVD2 dimensions showed no statistically significant differences between the high- and low-performing groups. Therefore, these differences were interpreted as exploratory tendencies. Taken together, these findings suggest that InquirySenseBot can support students’ inquiry performance and sensemaking processes in middle school STEM IBL. In particular, this study shows that an AI chatbot can function not as a tool that provides answers to learners, but as a question-based scaffolding tool aligned with phases of sensemaking, helping students gradually connect observed phenomena, gaps in understanding, structural features, operations, and causal relationships. In addition, by analyzing chatbot interaction logs from the perspective of mechanistic reasoning, this study showed at the process level how AI chatbot-based scaffolding intervened in students’ thinking processes and how students constructed explanations through that interaction. The theoretical implications of this study are as follows. First, this study expanded AI chatbot-supported IBL research from product-centered effectiveness evaluation to the analysis of learners’ thinking processes. Second, it suggested the possibility of setting sensemaking as a central design principle for AI chatbots and implementing it through phase-specific questions and branching rules. Third, it showed that mechanistic reasoning can be usefully applied as an analytic lens for understanding students’ sensemaking in STEM IBL. The practical implications are as follows. First, AI chatbot-based scaffolding needs to be provided at points where learners examine their understanding and refine their explanations. Second, chatbot scaffolding needs to be provided in a more differentiated way according to learners’ levels. High-performing learners may need questions that help them expand and integrate connections among reasoning elements, whereas low-performing learners may need questions that help them more clearly connect observed phenomena, structural features, and operations, and expand their thinking based on these connections. Third, AI chatbots need to be used as collaborative tools that supplement individualized questions and feedback that human teachers may find difficult to provide to every student in real time in classroom settings.