인지진단모형을 적용한 잠재집단별 문제해결 전략의 차이 분석

Abstract

피험자의 능력을 측정함에 있어서 인지진단모형을 적용하면 검사와 문항이 요구하는 인지요소(attribute)에 대한 숙달 정도를 추정하여 피험자의 인지상태를 파악할 수 있다. 인지진단모형에 의해 산출되는 피험자 모수인 인지요소별 숙달 비율 또는 숙달 여부는 피험자의 기능, 지식, 기술에 대한 약점과 강점을 직접적으로 드러낸다. 이는 향후 수행 능력의 개선을 위해 유용한 정보로 활용할 수 있으며, 이는 곧 피험자 인지상태에 대한 진단이 된다. 인지요소 숙달 여부의 파악 즉, 인지상태에 대한 진단은 ‘피험자가 어떠한 인지요소에 부족을 보이는가?’, ‘어떠한 인지요소의 보충이 필요한가?’등의 질문에 직접적인 대답을 제공한다. 이러한 질문들은 교사와 학생 당사자의 학습 목표와 단계 설정, 맞춤 교수를 위하여 필수적인 만큼 반드시 파악되어야 한다. 인지진단모형이 이렇듯 피험자와 문항에 대해 유용한 정보를 제공하지만, 만일 특정 문항의 정답을 맞히기 위한 문제해결 전략이 한 가지가 아니라면 인지진단모형에 의한 분석 결과가 수행 능력 개선을 위하여 활용되기에는 불충분할 수 있다. 학생들은 저마다 다르게 학습하고, 인지요소에 숙달하며, 검사 상황에서는 그것을 바탕으로 상이한 문제해결 전략을 사용한다. 검사 결과 분석을 위하여 인지진단모형을 적용함에 있어서도 피험자들의 이질적 학습 상태에 대한 반영이 필요하다. 만일 한 집단의 피험자들이 동질적인 특성을 보인다면 하나의 문제해결 전략이 포함하는 인지요소들만이 문제해결을 위하여 필요한 인지요소로 분류되어 있으면 된다. 그러나 만일 피험자들이 이질적 모수 특성을 가지고 있거나, 하나의 피험자 집단이 상이한 특성을 가진 하위 집단으로 분류될 수 있다면 피험자들이 선택할 수 있는 다양한 문제해결 전략이 사전에 명시된 인지요소 목록에 반영되어 있어야 한다. 이처럼 한 가지 이상의 전략이 각각 서로 다른 인지요소의 숙달을 요구하고 모두 정답 반응을 가능하게 하는 전략이라면 각 피험자의 인지진단 역시 자신이 사용하고 있는 전략을 바탕으로 이루어져야 하며, 이는 보다 효율적이고 즉각적으로 수행 능력의 개선을 가져올 수 있을 것이다. 이러한 문제 인식에 기초하여 본 연구는 문항 반응 패턴에 따라 하나의 피험자 집단 내에 이질적 특성을 가지는 하위 집단들을 분류하고 이들이 검사 상황에서 서로 다른 문제해결 전략을 사용하는지를 확인하는 데에 목적이 있다. 이로서 피험자들에게 각자가 속한 집단과 사용하는 전략에 맞춘 인지진단정보를 제공할 수 있다. 이를 위해 본 연구에서는 다음과 같이 3단계에 걸친 분석을 실시하였다. 첫 번째 단계는 LCA모형에 의하여 하나의 피험자 집단을 두 개의 잠재집단으로 분류하는 것이다. 두 번째 단계는 각 잠재집단에 서로 다른 문제해결 전략을 반영하고 있는 두 개의 Q행렬을 적용하여 DINA모형으로 문항 및 피험자 모수를 추정하는 것이다. 분석의 마지막 단계에서는 모형 적합도와 문항 변별도 등을 기준으로 각 잠재집단이 사용하는 전략을 결정하며, 이렇게 결정된 문제해결 전략을 바탕으로 각 집단의 인지요소 숙달 정도를 분석한다. 연구의 주요 결과를 요약하면 다음과 같다. 첫째, LCA모형에 의해 각각 274명과 262명으로 나누어진 잠재집단1과 잠재집단2는 분수뺄셈검사에 대하여 서로 다른 수준의 성취를 보였으며, 서로 다른 문항 반응 패턴을 가지고 있었다. 또한 잠재집단1과 잠재집단2의 응답 자료에 두 개의 문제해결 전략이 반영된 두 개의 Q행렬을 적용하여 자료 분석을 실시하고, 적합도와 변별도를 비교한 결과, 잠재집단1이 전략A를 사용하였으며, 잠재집단2가 전략B를 사용한 것으로 볼 수 있었다. 이러한 결과를 통하여 하나의 피험자 집단 내에 서로 다른 특성과 전략 사용을 보이는 상이한 잠재집단이 존재하는 것을 알 수 있다. 둘째, DINA모형을 이용하여 문항 모수와 피험자 모수를 추정한 결과, 잠재집단1은 높은 추측 모수와 낮은 부주의 오류 모수를 보이는 반면 잠재집단2는 낮은 추측 모수와 높은 부주의 오류 모수를 보여 서로 다른 특징을 가진 집단임을 다시 한 번 확인할 수 있었다. 인지요소 숙달 비율을 추정한 결과 잠재집단1과 잠재집단2가 총점에 근거한 성취 수준과 능력 모수의 차이에도 불구하고 인지요소 숙달 비율에는 큰 차이가 없었다. 이는 문항 모수 추정 결과에서 볼 수 있듯이 잠재집단1의 높은 추측 모수와 잠재집단2의 대체로 높은 부주의 오류 모수에 기인한 현상으로 볼 수 있다. 분석 결과, 잠재집단1의 낮은 성취 피험자들은 인지요소1에 숙달 비율 0%로 전혀 숙달하지 못한 것으로 나타났다. 잠재집단2의 높은 성취 피험자 17명은 인지요소1, 2, 3, 4에는 높은 확률로 숙달해 있으나 인지요소5에는 숙달 비율 29.4%로 낮은 숙달 비율을 보였다. 이처럼 LCA모형에 의한 피험자 응답자료 분석 결과, 하나의 피험자 집단 내의 이질적 특성을 가지는 잠재집단이 존재함을 확인하였다. 이는 각각의 피험자들이 자신이 사용하는 전략에 비추어 학습되어야 하는 인지요소가 다를 것이기 때문에 수업은 학생의 성취 수준과 능력, 사용하는 문제해결 전략 바탕으로 구성되어야 한다는 것을 의미한다. 그러나 학생들의 성취 수준을 기준으로 집단을 구분하는 능력별 동질집단편성은 그 실질적 효과에 대하여 의문이 제기되어 왔다. 따라서 피험자의 인지적 특성에 따른 맞춤 교수가 효과적으로 제공되기 위해서는 인지진단모형을 통하여 피험자의 인지상태를 진단하고, 문재해결 전략을 파악하여 이를 바탕으로 집단을 구분하는 것이 첫 번째 단계일 것이다. 또한 연구를 통해 파악한 인지요소 숙달 비율과 집단내의 성취도 차이에 따른 피험자들의 인지요소 숙달 비율을 바탕으로 각 집단 특성에 적절한 교수·학습 방법을 제안할 수 있다. 이와 같은 관점에서 인지진단모형과 문제해결 전략을 파악하는 과정을 결합하였다는 점에 본 연구의 의의가 있다. 본 연구는 한 집단 내에 문제해결 전략이 상이한 두 집단이 존재함을 밝히고, 이들의 인지상태를 각자가 사용하는 전략에 근거하여 진단하였다. 이로써 반응과정에도 관심을 기울이는 보다 체계적인 맞춤 학습이 가능하게 될 것이다. 또한 문제해결 전략을 파악하는 과정에서 변별도와 적합도 등을 이용하는 방법 역시 본 연구에서 최초로 제안한 바이다. 본 연구의 또 다른 의의는 피험자들의 실제 응답 자료를 인지진단모형을 적용하여 분석하고 그 결과를 다음 학습을 위한 자료로서 활용할 수 있다는 점과 그 방안을 제시하였다는 점이다. 향후 우리나라에서 개발되는 인지진단 검사 역시 본 연구에서 제시한 활용방안을 토대로 교수·학습을 계획할 수 있을 것이다.;In terms of measuring the students’ ability, Cognitive Diagnostic Models (CDMs) decide it by whether they master cognitive elements (attribute) that the tests and questions required. This inference offers the direct answer such questions; ‘which attribute subjects need?’ and ‘what kind of attributes is required?’ Both teachers and students should grasp these questions because they are essential to make tailored education and set learning goals for the teachers and the students. The person parameter calculated by CDMs parameters directly indicates the subjects’ capabilities, knowledge, skills, and the weaknesses and strengths about their cognitive status. Therefore, CDMs parameters can function as useful information for improving the students’ achievement, which would become a diagnosis on the status of students’ cognitive structure. In this sense, CDMs parameters, as the subjects’ capabilities, provide mastery probability of each attribute. As mentioned above, CDMs parameters provide useful information about students’ cognitive status and item quality. If there is more than one strategy for a specific problem, nonetheless, the analysis by CDMs parameters would be insufficient to be utilized for improving students’ performance and achievement. Students learn and master the cognitive factors individually, and they use different problem-solving strategies based on that. When applying CDMs to analysis of the test response data, the conductors should also consider the subjects’ heterogeneous learning condition. Therefore, if more than a strategy demands the students’ different acquirement of attribute while enabling all of answer to be possible, the diagnosis of each subject’s cognitive status must be based on the strategies each of them being using; in doing so, the diagnosis brings more efficient and immediate improvement of performance. Therefore, this study has two objectives. First of all, this study aims for classifying the sub-groups which have heterogeneous characteristics within a single group using item response patterns. Secondly, this study aims for identifying that the different sub-groups use different strategies in test situation. In this way, it will provide the students with the cognitive diagnosis set for their groups and their own strategies. For that, this study conducts the analysis in three phases. The first step is to divide the single students group into the two latent classes by the LCA model. The second is to estimate the item parameters and person parameters by the DINA model. When DINA model analyzes the response data of each latent class students, two different Q-matrices reflecting different problem-solving strategies are applied. The last step of the analysis is to decide each latent classes’ strategy considering its goodness of fit and discrimination parameter. The main results of this study are summarized as follows. First of all, LCA Model divides a student group into two latent classes; the latent class 1 of 274 students and the latent class 2 of 262 students. Each class showed different levels of achievement and different item response patterns for a fraction subtraction test. Furthermore, data analysis was conducted by the response data from the latent class 1 and 2 with the two Q matrices which include the two problem solving strategies; then their discrimination parameter and goodness of fit were compared; as a result, it was demonstrated that the latent class 1 used strategy A whereas the latent class 2 used B. This result suggests that there are different latent class having heterogeneous features and using different problem-solving strategies within even one group of students. Second, the estimated results of person and item parameters by DINA model show that the latent class 1 has the high guessing parameter and low slip whereas the latent class 2 has high slip parameter and low guessing parameter. These results confirm again that they are different groups having the heterogeneous characteristics. According to estimation of mastery probability, there are no large differences between two latent classes even though there are large differences of achievement level. It results from the high guessing parameter of latent class 1 and high slip parameter of latent class 2, as the results of item parameter estimation. The results of analysis indicate that the latent class has mastery probability 0% so it could not master the attribute1 at all. On the other hand, the latent class 2 of 17 subjects master the attribute1, 2, 3 and 4 with high mastery probability but in case of the attribute5, they show low mastery probability with 29.4 probabilities. Analyzing the subjects’ response data conducted by LCA models make sure the existence of latent classes having heterogeneous characteristics within even a single subjects group. Since the attributes each subject has to learn according to their own strategies are different, the classes have to be designed based on the subjects’ achievement levels, skills, and their own problem-solving strategies. In spite of this, a doubt about the practical benefit of separating groups according to the students’ achievement levels has raised. In order to provide effective tailored education, thus, the first step will be to diagnose the students’ cognitive status and to understand their problem-solving strategies; and then based on that, to classify the students into several other groups. In addition to that, the ratio of the attribute mastery probability caused by the different achievement levels and the ratio of it grasped by this study can suggest the suitable learning and teaching method for properties of each group. In this perspective, the significance of this study is to combine the CDMs with the process of problem-solving strategy to identify the cognitive structure. This study defines that in a single group, there exist two groups having different characteristics in terms of especially the problem-solving strategies among the subjects have; also, it identifies the subjects’ individual cognitive status. By doing so, more systematic tailored education will be possible. Furthermore, this study also proposed how to use discrimination parameters and goodness of fit in the process of identifying the problem-solving strategies. Another significance of these research materials is that they analyzed the actual response data from the subjects by applying CDMs, shows that the results of CDMs can be utilized as essential resources for learning process and finally suggests the way to go. Based on the idea this study suggested, future developed diagnostic tests in Korea will also be able to plan a teaching and learning process.