생성형 인공지능을 활용한 학습자의 질문 유형이 문제해결 성과에 미치는 영향

Abstract

인공지능의 발전은 현대인의 삶을 변화시키고 있으며, 새로운 기술은 문제해결에 필요한 정보 접근성을 높이고 있다. 이에 따라 필요한 정보를 효과적으로 탐색하고 자신의 관점으로 재구성하는 역량은 그 어느 때보다 강조되고 있다. 질문은 학습과 지식 창출의 중요한 시작점으로(King, 1995), 학습자의 주체성과 참여를 강조한다. 질문과 관련된 초기의 연구는 주로 교사의 관점에서 교수 전략으로서 연구되어 왔다. 이에 질문에 답변을 하기 위해 요구되는 응답자의 사고 수준에 따라 질문의 유형을 분류하였으며, 낮은 수준의 질문과 높은 수준의 질문으로 구분하는 것이 일반적이었다. 이후 학습자의 질문 행위로 연구의 초점이 옮겨 오면서 질문에 나타나는 질문자의 인지적 사고가 어떻게 이루어지는지를 탐구하는 연구들이 수행되고 있다. 최근에는 ChatGPT와 같은 생성형 인공지능이 주목을 받으면서 학습자의 질문 역량이 그 어느 때보다 강조되고 있다. ChatGPT와 같은 대화 기반 생성형 인공지능은 인간의 질문과 후속 질문을 중심으로 상호작용을 한다. 이는 대화형 학습에서의 질문-답변 형식과 유사하며, 전통적인 키워드 기반 검색 엔진과 달리 지속적인 대화를 통해 답변을 발전시키고 확장한다. 그러나 인공지능이 생성한 답변 내용의 품질은 인간의 입력, 즉 프롬프트에 따라 달라진다. 또한 질문 목적과 다른 답변이 생성되었더라도 후속 질문을 통해 생성되는 답변의 범위와 수준을 다양하게 조절할 수 있다. 따라서 학습에 있어서 생성형 인공지능을 효과적으로 활용하기 위해서는 학습자가 좋은 질문을 지속적으로 할 수 있는 역량을 기르는 것이 중요하다. 학습자가 제기하는 질문은 문제해결 과정에서 깊은 사고를 촉진하는 중요한 역할을 하며, 정보를 찾고 연결하고, 가설을 세우고, 예측하는 행동을 유도한다. 따라서 질문은 학습자를 문제해결에 적극적으로 참여하게 하고 의미 있는 지식 구성으로 이어지게 하는 중요한 역할을 한다. 특히 문제해결 과정에서 적절한 해결 전략의 선택과 활용은 매우 중요하다. 문제해결의 시작은 ‘문제 공간(problem space)’을 탐색하는 것이다. 학습자는 문제와 관련된 질문을 통해 답을 찾는 과정에 참여하며, 이때 질문은 문제해결을 위한 사전지식을 활성화하고 새로운 개념에 대한 이해를 촉진하며 지식을 정교화하는 역할을 한다. 질문은 단순히 답변을 탐색하는 것을 넘어 학습자가 지식을 연결하고 구성하는 토대가 된다. 과거에는 주로 교사와 학생, 또는 학생 간의 상호작용 맥락에서 질문이 발생했지만, 기술의 발전으로 온라인 및 인공지능과 같은 외부 자원과의 상호작용에서도 나타나고 있다. 이러한 기술적 발전은 비판적 사고, 의사소통 능력, 문제 해결력과 같은 인간의 고차원적 능력의 중요성을 더욱 부각시키고 있다. 즉 정보와 기술을 효과적으로 활용하고, 복잡한 문제에 대한 창의적 해결책을 찾는 데 이러한 역량이 더욱 요구되고 있다. 이에 따라 질문은 비판적으로 정보를 수용하고 새로운 지식을 창출하는 데 있어 그 시작이 되는 중요한 전략이다. 생성형 인공지능 관련 연구가 다양하게 시도되고 있으나 주로 공학 분야에서 이루어지고 있으며, 교육적 활용에 대한 연구도 기술적 측면에 중점을 두고 있다. 따라서 학습자가 문제해결 과정에서 생성형 인공지능을 어떻게 활용하는지에 대한 구체적인 실증 연구가 아직 부족한 실정이다. 따라서 본 연구는 생성형 인공지능인 ChatGPT를 활용한 문제해결 과정에서 학습자의 질문 유형과 그에 따른 문제해결 성과의 차이를 탐구하며, 생성형 인공지능 활용에 대한 학습자의 인식을 분석하였다. 추후 본 연구의 결과가 교수설계와 적응형 시스템 개발에 중요한 시사점을 제공할 것으로 기대된다. 이를 위한 연구문제는 다음과 같다. 1. 비구조화된 문제해결 과정에서 생성형 인공지능을 활용한 학습자의 질문 유형은 군집별로 어떠한 차이가 있는가? 1-1. 비구조화된 문제해결 과정에서 생성형 인공지능을 활용한 학습자의 질문유형은 군집별로 질문 유형의 비율에 있어 어떠한 차이가 있는가? 1-2. 비구조화된 문제해결 과정에서 생성형 인공지능을 활용한 학습자의 질문 유형은 군집별로 시간의 흐름에 있어 어떠한 차이가 있는가? 1-3. 비구조화된 문제해결 과정에서 생성형 인공지능을 활용한 학습자의 질문 유형은 군집별로 문제해결 과정에 있어 어떠한 차이가 있는가? 2. 비구조화된 문제해결 과정에서 생성형 인공지능을 활용한 학습자의 질문 유형에 따라 군집별로 문제해결 성과는 어떠한 차이가 있는가? 3. 비구조화된 문제해결 과정에서 생성형 인공지능 활용에 대한 학습자의 인식은 군집별로 어떠한 차이가 있는가? 연구문제 확인을 위해 국내 소재 대학교에 재학 중인 35명의 대학생 학습자를 대상으로 생성형 인공지능인 ChatGPT를 활용하여 문제해결을 수행하는 실험을 진행하였다. 실험은 비구조화된 문제를 제시한 뒤 학습자가 ChatGPT를 활용하면서 이를 해결하고, 해결과정이 반영된 최종 해결안을 산출물의 형태로 작성하는 방식으로 이루어졌다. 문제해결 수행이 완료되면 문제해결 과정에서 생성형 인공지능을 활용하는 것에 대한 인식을 묻는 설문을 실시하였다. 실험을 통해 총 35명의 대화 텍스트, 문제해결 최종 산출물, 설문 응답 데이터를 수집하였다. 학습자가 작성한 질문은 코딩 스킴에 따라 정보수집형, 연결형, 확장형-정보, 확장형-적용, 성찰형 질문으로 분류하였다. 이후 질문 유형의 비율에 따라 군집분석을 통해 3개의 군집을 도출하였으며, 군집 간 차이는 질문 유형의 비율, 시간의 흐름, 문제해결 과정에 따라 살펴보았다. 본 연구의 결과와 이를 바탕으로 도출된 결론 및 시사점은 다음과 같다. 첫째, 생성형 인공지능을 활용한 문제해결 과정에서 학습자가 활용하는 질문 유형의 비율에 따라 ‘연속적 탐색형’, ‘제한적 탐색형’, ‘점검형’으로 군집 유형을 도출하였다. 연속적 탐색형 군집은 ChatGPT의 답변을 기반으로 후속 질문을 통해 정보를 수집하고 통합하는 특징을 보였다. 제한적 탐색형 군집은 주로 일반적인 수준의 정보 수집을 위한 질문을 하는 반면, 점검형 군집은 ChatGPT를 통해 수집한 정보나 해결안을 그대로 수용하지 않고 다시 점검하는 특징을 나타냈다. 시간의 흐름 및 문제해결 과정에 따라 군집별로 질문 유형의 차이를 살펴본 결과에서도 연속적 탐색형 군집과 점검형 군집은 하나의 질문에서 시작하여 다수의 후속 질문을 이어 나가면서 정보 탐색과 지식의 확장을 시도하는 경향을 보였다. 이와 달리 제한적 탐색형 군집은 후속 질문을 거의 활용하지 않았으며 단편적인 정보 수집에 그치는 경향을 보여 주었다. 이러한 결과는 생성형 인공지능을 활용한 문제해결 과정에서 학습자의 질문 유형이 다양하며, 특히 후속 질문 활용 양상이 학습자마다 다를 수 있음을 시사한다. 따라서 보다 총체적으로 학습자의 질문 양상을 파악하고 이를 지원하는 것이 필요할 것이다. 둘째, 학습자의 질문 유형이 문제해결 성과에 미치는 영향을 크게 평가 범주별, 평가 세부 항목별로 구분하여 탐색하였다. 범주별 항목은 문제 표상과 해결안 생성 및 점검의 두 범주로 나누어 평가하였다. 제한적 탐색형 군집은 문제 표상에서 높은 점수를 받았으나, 후속 질문을 이어가지 않아 심층적인 정보 종합이 다소 부족한 경향이 나타나는 것으로 파악하였다. 반면, 점검형 군집은 해결안 생성 및 점검에서 높은 점수를 받았으나, 문제 표상에서는 낮은 점수를 보였다. 연속적 탐색형 군집은 세 그룹 중 중간 수준의 점수를 보였으며, 문제 표상에서는 낮은 점수를, 해결안 생성 및 점검에서는 높은 점수를 받았다. 평가 세부 항목별로는 연속적 탐색형 군집의 경우 해결안 점검에서 낮은 점수를 받은 것으로 나타났다. 이는 확장형-정보 유형의 질문을 주로 사용하며 성찰형 질문을 사용하지 않는 특성과 관련이 있을 것으로 예상하였다. 제한적 탐색형 군집은 문제 표상 범주에서 높은 점수를 받았으며, 점검형 군집은 문제 표상에서 낮은 점수를 받았다. 이러한 결과는 문제해결 과정에서 학습자별로 편중된 질문 유형이 나타나며, 다양한 질문 유형을 활용할 수 있도록 지원이 필요함을 보여 준다. 셋째, 대부분의 학습자들은 생성형 인공지능의 지각된 가치를 높게 평가했으며, 특히 연속적 탐색형 군집은 성취 가치를 높게 인식했다. 이 유형의 학습자들은 생성형 인공지능을 활용하여 문제해결 역량을 향상시킬 수 있다고 믿는 경향이 나타났다. 제한적 탐색형 군집은 내재 가치를 높게 평가하며, 생성형 인공지능을 사용하는 과정에서의 편안함과 만족감을 중시했다. 효용 가치에 대해서는 제한적 탐색형과 연속적 탐색형 군집 모두 긍정적인 인식을 보였으나, 점검형 군집은 상대적으로 낮게 평가했다. 이는 생성형 인공지능이 학습자의 목표 달성과 정보 수집에 중요한 역할을 하며, 학습자들이 이를 통해 더 창의적이고 비판적인 사고를 할 수 있도록 지원해야 함을 시사한다. 또한, 학습자들은 문제해결 과정에서 생성형 인공지능을 지속적으로 활용할 의향이 있으나, 이것이 문제해결에 미치는 장기적인 영향에 대해서는 다양한 인식을 보였다. 이는 생성형 인공지능이 단순히 답변을 제공하는 것을 넘어 학습자의 깊이 있는 이해와 지속적인 학습에 기여해야 함을 의미한다. 생성형 인공지능은 학습자의 사고를 확장하고 비판적 분석을 촉진하며 자기주도적인 학습을 유도하는 방향으로 설계되어야 한다. 또한 생성형 인공지능이 단순한 정보원이 아니라 학습과 성장을 촉진하는 역할을 할 수 있도록 스캐폴딩이나 질문 프롬프트를 제공하는 등 학습자를 지원할 수 있는 적응적인 설계가 필요할 것이다. 본 연구의 제한점과 후속 연구에 대한 제언은 다음과 같다. 첫째, 본 연구에서 수집한 데이터는 일부 학생들에 한정되어 있기 때문에 한계가 있다. 따라서 후속 연구에서는 다양한 전공 및 연령의 학습자들을 대상으로 질문 활용 양상을 파악하는 것이 필요할 것이다. 둘째, 본 연구는 문제해결 과정이라는 맥락에 한정하여 진행하였다. 따라서 후속 연구에서는 다양한 학습 혹은 교과 맥락에서 질문 활용 양상을 살펴보는 것이 필요할 것이다. 셋째, 본 연구는 군집분석을 통해 활용 양상을 살펴보았으므로 학습자 개인별 질문 활용의 특성이 고려되지 못할 수 있다는 한계가 있다. 따라서 후속 연구에서는 다양한 연구 방법 및 데이터 분석 방법을 통해 총체적으로 질문 양상을 살펴보는 것이 필요할 것이다.;The advancement of artificial intelligence is transforming the lives of modern individuals, and new technologies are enhancing access to information necessary for problem-solving. Consequently, the ability to effectively search and restructure information from one's perspective is emphasized more than ever. According to King (1995), questioning is an important starting point for learning and knowledge creation, highlighting learner autonomy and participation. Early research related to questioning primarily explored it as a teaching strategy from the teacher's perspective. This led to the classification of questions based on the cognitive level required of the respondent, typically distinguishing between lower-level and higher-level questions. As the focus of research shifted to the act of questioning by learners, studies are being conducted to explore how cognitive thinking in questioners manifests. Recently, with the emergence of generative AI like ChatGPT, learners' questioning abilities are being emphasized more than ever. Conversational generative AI, like ChatGPT, interacts focusing on human questions and follow-up questions. This is similar to the question-answer format in interactive learning, and unlike traditional keyword-based search engines, it develops and expands answers through ongoing conversations. However, the quality of the answers generated by AI varies depending on the human input, or the prompt. Even if the answer generated is different from the intended question, the scope and level of the answers can be varied through follow-up questions. Therefore, for effective use of generative AI in learning, learners need to develop the ability to ask good questions continuously. The questions raised by learners play an important role in promoting deep thinking in the problem-solving process, inducing behaviors such as finding and connecting information, formulating hypotheses, and making predictions. Therefore, questioning plays a critical role in actively engaging learners in problem-solving and leading to meaningful knowledge construction. Particularly in problem-solving, the selection and application of appropriate strategies are very important. The start of problem-solving is exploring the 'problem space.' Learners participate in the process of finding answers through questions related to the problem, where questioning activates prior knowledge for problem-solving, facilitates understanding of new concepts, and refines knowledge. Questions go beyond merely seeking answers; they form the basis for learners to connect and construct knowledge. In the past, questions primarily arose in the context of interactions between teachers and students or among students. However, with technological advancements, such interactions are now also occurring with external resources like online platforms and artificial intelligence. This technological progress highlights the importance of higher-order human capabilities such as critical thinking, communication skills, and problem-solving abilities. Effectively utilizing information and technology, and finding creative solutions to complex problems increasingly demand these skills. Consequently, questioning becomes a crucial strategy in critically assimilating information and generating new knowledge. Although there is a variety of research on generative artificial intelligence, it is mainly conducted in the field of engineering, with a focus on the technical aspects of its educational use. Hence, there is a lack of specific empirical research on how learners utilize generative AI in problem-solving processes. This study investigates the types of questions learners ask and the differences in problem-solving outcomes when using generative AI, specifically ChatGPT, and analyzes learners' perceptions of using such AI. The results of this study are expected to provide significant insights into instructional design and the development of adaptive systems. The research questions are as follows. RQ 1. What are the differences in the types of questions learners pose using generative AI in unstructured problem-solving processes, categorized by clusters? RQ 1-1. In unstructured problem-solving processes using generative AI, what differences exist in the proportions of question types among different clusters? RQ 1-2. In unstructured problem-solving processes using generative AI, how do the types of questions vary over time among different clusters? RQ 1-3. In unstructured problem-solving processes using generative AI, what differences in the problem-solving process are observed among the clusters based on the types of questions asked? RQ 2. In unstructured problem-solving processes using generative AI, how do the problem-solving outcomes differ among clusters based on the types of questions posed by learners? RQ 3. In unstructured problem-solving processes using generative AI, how do learners' perceptions of using AI differ among clusters? To verify the research questions, an experiment was conducted with 35 university students currently enrolled in a university in South Korea. They used generative AI, specifically ChatGPT, to solve problems. The experiment involved presenting unstructured problems and having the students use ChatGPT to solve them, eventually producing a final solution in the form of a written output. After completing the problem-solving task, a survey was conducted to gather their perceptions of using generative AI in this process. From the experiment, dialogue texts, final problem-solving outputs, and survey response data from all 35 participants were collected. The questions posed by the learners were categorized into information-gathering, connecting, expanding-information, expanding-application, and reflective types according to a coding scheme. Subsequently, three clusters were identified through cluster analysis based on the proportion of question types, and differences between the clusters were examined in terms of question types, the flow of time, and the problem-solving process. The results and conclusions drawn from this study, along with their implications, are as follows. First, based on the proportion of question types used in the problem-solving process with generative AI, the clusters were identified as 'Continuous Exploration', 'Limited Exploration', and 'Verification'. The Continuous Exploration cluster showed a tendency to collect and integrate information through follow-up questions based on ChatGPT's responses. The Limited Exploration cluster mainly asked questions for general-level information gathering, while the Verification cluster was characterized by re-examining the information or solutions obtained through ChatGPT. Upon examining the differences in question types among clusters over time and across the problem-solving process, the Continuous Exploration and Verification clusters tended to expand their search for information and knowledge by proceeding with multiple follow-up questions from a single starting question. In contrast, the Limited Exploration cluster showed a tendency to rely less on follow-up questions, often settling for fragmented information collection. These results suggest that the types of questions posed by learners in problem-solving processes using generative AI vary, especially in the pattern of utilizing follow-up questions, which can differ among learners. Therefore, it is necessary to comprehensively understand and support the questioning patterns of learners. Second, the impact of learners' question types on problem-solving outcomes was explored, and divided into major evaluation categories and specific evaluation items. The categories included problem representation and the generation and verification of solutions. The Limited Exploration cluster scored high in problem representation but showed a tendency towards lacking in-depth information synthesis due to not continuing with follow-up questions. In contrast, the Verification cluster scored high in solution generation and verification but low in problem representation. The Continuous Exploration cluster showed medium-level scores among the three groups, scoring low in problem representation but high in solution generation and verification. Specifically, the Continuous Exploration cluster scored low in solution verification, presumably related to their predominant use of expanding-information type questions and lack of reflective questions. The Limited Exploration cluster scored high in the problem representation category, whereas the Verification cluster scored low in this category. These results indicate the need for support in diversifying question types in the problem-solving process, as learners tend to be biased toward certain types of questions. Third, most learners highly valued the perceived utility of generative AI, especially the Continuous Exploration cluster, which recognized a high achievement value. Learners in this cluster believed that using generative AI could enhance their problem-solving capabilities. The Limited Exploration cluster highly valued intrinsic value, emphasizing comfort and satisfaction in the process of using generative AI. While both Limited and Continuous Exploration clusters showed positive perceptions of utility value, the Verification cluster rated it relatively low. This suggests that generative AI plays an important role in achieving learners' goals and gathering information, and it should support learners in more creative and critical thinking. Furthermore, learners showed a willingness to continually use generative AI in problem-solving, but their perceptions of its long-term impact varied. This implies that generative AI should contribute to deep understanding and ongoing learning beyond just providing answers. It should be designed to expand learners' thinking, foster critical analysis, and encourage self-directed learning. Additionally, adaptive designs that support learners, such as providing scaffolding or question prompts, are needed so that generative AI can facilitate learning and growth, rather than just being a source of information. Limitations of this study and suggestions for future research are as follows. Firstly, the data collected in this study is limited to a specific group of students, hence it has its limitations. Future research should aim to understand the patterns of question utilization among learners of various majors and levels of experience. Secondly, this study was confined to the context of problem-solving processes. Therefore, future research should explore question utilization patterns in various learning or subject contexts. Thirdly, since this study examined utilization patterns through cluster analysis, it may not have considered individual learners' question utilization characteristics. Future research should therefore aim to comprehensively examine question patterns using diverse research methods and data analysis techniques.