인지진단평가모형을 적용한 수학 영역별 숙달여부에 영향을 미치는 변수 탐색

Abstract

Educational assessment should judge that students' achievement in learning process is successful. However, current educational assessment tends to focus on the scores only, and this type of goal-oriented assessment often fails to provide an enough information of students' learning state and learning process itself. A paradigm of educational assessment has changed from "Assessment of learning" to "Assessment for learning." Assessment for learning reverts the result of assessment to the process of learning and teaching. By integrating the result and process of learning, educational assessment can improve the effect of learning and teaching. Therefore, assessment which can diagnose students' learning state and reverting the result of assessment to learning and teaching are "Assessment for learning". According to this characteristic of assessment for learning, assessment for learning can be divided into two parts; One is diagnostic stage which diagnoses students' learning state, and the other is decision making stage which decides what type of remedy to use. In diagnostic stage, it is essential to know what strengths and weaknesses a student has. Cognitive Diagnosis Assessment can be used for this stage. Cognitive Diagnosis Assessment is an assessment designed to measure students' cognitive process and skills of problem-solving, by which students' cognitive strengths and weaknesses can be identified. Cognitive Diagnosis Model is a psychometrics model that realizes the Cognitive Diagnosis Assessment. In decision making stage, it is necessary to judge what type of remedy should be applied to improve learning and teaching. Students' weakness of learning comes from many causes. Among various causes that provoke the weakness, Effect of students' individual characteristic and background conditions proves to be powerful by many researches. In this study, therefore, what type of student variables causing students' weakness of learning is explored and this study provides implications of planning teaching and learning remedy. To achieve the purpose above, this study used the Trends in International Mathematics and Science Study(TIMSS) 2011 Korean 8th student data. This study selects 12 of multiple choice items in TIMSS 2011 8th grade mathematics test booklet 1, and applies DINA model, which is one of the type of Cognitive Diagnosis Model, to analysis 371 students item response. Using DINA model, attribute mastery probabilities are estimated. Attribute mastery probabilities are classified into 3 cognitive domains: knowing, applying, and inferring. In each domain, average of attribute mastery probabilities are used as cognitive domain mastery probabilities. Taking item difficulty of booklet 1 into consideration, mastery standard is set to 0.8. To explore what type of student variables affects to mastery of cognitive domain, logistic regression is used. Independent variables are students' variables which include students' background and individual characteristics, and dependent variables are mastery of 3 cognitive domains. As a result of applying DINA model, "recognition" showed the lowest mastery probability, and "analyzing" showed the highest mastery probability. Most students master "inferring" domain, and the least students master "applying" domain. As a result of descriptive statistics, except students' sex and math homework variables, average of variables of non-master group is smaller than that of master group. As a result of logistic regression, in knowing domain, the number of books, father's level of education, and confidence of mathematics variables were significant. In applying domain, the number of books, father's level of education, and confidence of mathematics variables were significant. In inferring domain, the number of books, father's level of education, confidence of mathematics, and positive attitude toward school variables were significant. Implications of these results are as follows: First, through DINA model, mastery probabilities of attribute and cognitive domains provide information about students' learning state, thus teachers will be able to use those information to improve their teaching strategies. Second, student variables which affect the mastery of each cognitive domain are identified. Therefore, teachers can understand students' weakness of learning and plan to remedy students learning and teaching. For example, teacher can plan a lesson to improve student's confidence in mathematics by knowing confidence in mathematics contributes to the mastery of cognitive domains. Result of educational assessment has to be used for improving learning and teaching, and teachers and school principals have to make efforts to integrate assessment and learning under assessment for learning.;교육평가는 교수·학습의 목표를 학습자가 잘 달성하였는가에 대한 판단 도구로서의 역할을 수행해왔다. 지금까지의 평가 결과는 주로 학생들의 상대적 서열 매기기나 행정적 의사결정에 사용되어왔다. 이러한 평가는 교수·학습의 마지막 단계에 행해지는 학습에 대한 평가(assessment of learning)이자 결과지향적 평가라고 할 수 있다. 결과지향적 평가는 교수·학습이 이루어지는 일련의 과정이나 학습자의 학습 상태에 대한 상세하고 풍부한 정보를 제공하지 못한다는 제한점이 있다. 이와 같은 결과지향적 평가의 제한점이 부각됨에 따라 최근 교육평가의 패러다임이 학습지향적 평가로 전환되고 있다. 학습지향적 교육평가는 교수·학습과정의 마지막 단계로서의 평가가 아니라, 평가 결과를 교수·학습으로 환류한다는 점에서 순환적이고 통합적인 과정이다. 평가 결과를 교수·학습과정과 통합시킴으로써 궁극적으로는 평가가 교수·학습의 효과를 증진해나가는 과정의 일부가 된다. 이러한 특징에 따라, 학습지향적 평가의 과정은 크게 두 가지로 나뉠 수 있다. 학습자의 학습 상태를 정확하게 파악하는 진단 과정, 그리고 진단 결과를 바탕으로 어떠한 교수·학습개선 방안을 사용할 것인지 판단하는 의사결정 과정이다. 학습지향적 평가의 첫 번째 과정인 진단 과정에서는 학습자가 어떠한 영역에서 강점 혹은 약점을 보이는가에 대한 정확한 정보를 파악한다. 이러한 정보는 평가의 결과로부터 얻을 수 있는데, 학습자가 어떠한 학습상태인지 진단할 수 있도록 설계된 평가가 인지진단평가(cognitive diagnosis assessment)이다. 인지진단평가는 피험자의 인지적 과정과 문제해결 기술을 측정하도록 설계되어 평가 결과로부터 피험자의 인지적 강점 및 약점에 대한 정보를 제공한다. 인지진단평가의 결과를 통계적으로 나타내는 측정학적 모형이 인지진단평가모형(cognitive diagnosis model)이다. 학습지향적 평가의 두 번째 과정인 의사결정 과정은 평가 결과를 통하여 어떠한 교수·학습 향상 방안을 적용할 것인지 판단하는 과정이다. 인지진단평가 결과에서 파악한 학습자의 약점은 여러 가지 요인에서 기인할 수 있다. 의사결정 과정에서는 특정 평가결과가 어떠한 원인에 의한 것인지 파악하여 그러한 원인을 제거하여 교수·학습을 증진시키는 방법을 결정한다. 본 연구에서는 학습지향적 평가의 진단 과정에서 학습자의 학습상태에 대한 정보를 어떻게 의미 있게 측정하고, 의사결정 과정에서 특정 학습 영역에서 나타나는 약점이 어떠한 원인에 의한 것인지 분석하여 그러한 원인을 어떻게 감소시킬 수 있을지에 대한 시사점을 제공하고자 한다. 이러한 연구 목적을 달성하기 위하여 수학·과학 성취도 추이변화 국제비교 연구(the Trends in International Mathematics and Science Study; TIMSS) 2011의 우리나라 8학년 학생 자료를 활용하였다. 첫째, 학습자의 인지적 강점 및 약점 영역을 분석하기 위하여 수학 성취 자료에 인지진단평가모형 중 DINA모형을 적용하였다. 알기, 적용하기, 추론하기 3개의 인지영역으로 구분하여 학생들의 각 인지영역별 숙달 확률을 추정하였다. 둘째, 각 인지영역을 숙달하는 데 영향을 미치는 학생 변수를 알아보고자 각 인지영역 숙달여부를 종속변수로, 학생 변수를 독립변수로 한 로지스틱 회귀분석을 실시하였다. 학생 변수는 환경적 특성이라 할 수 있는 배경적 변수와 심리적·행동적 특성인 내적 변수로 구분하였다. DINA모형 적용 결과, 숙달 확률이 가장 낮은 인지요소는 알기 영역의 인식하기였으며, 숙달 확률이 가장 높은 인지요소는 추론하기 영역의 분석하기로 나타났다. 추정된 숙달 확률을 근거로 인지영역별 숙달 집단과 미숙달 집단으로 학생을 분류하였다. 분류 결과, 적용하기 영역 미숙달 집단의 학생이 가장 많았고 추론하기 영역 미숙달 집단의 학생 수가 가장 적었다. 인지영역별로 숙달 집단과 미숙달 집단의 학생 변수 특성을 파악하고자 기술통계량을 산출한 결과, 성별과 수학 숙제 빈도 및 수행 시간을 제외하고 미숙달 집단의 학생 변수 평균값이 숙달 집단의 학생 변수 평균값보다 낮은 것으로 나타났다. 모든 인지영역에서 남학생보다 여학생이 미숙달 집단에 더 많이 분류되었다. 수학 숙제 빈도 및 수행 시간은 추론하기 영역을 제외한 2개의 인지영역에서 미숙달 집단의 평균값이 높게 나타나 미숙달 집단이 수학 숙제를 더 자주, 그리고 오래 하는 것으로 나타났다. 로지스틱 회귀분석 결과, 알기 영역에서는 가정의 장서 보유량, 아버지의 최종학력, 수학 효능감이 숙달여부에 영향을 주는 유의한 변수였다. 적용하기 영역의 숙달여부에는 가정의 장서 보유량, 아버지의 최종학력, 수학 효능감이 유의하였다. 추론하기 영역에서는 가정의 장서 보유량, 아버지의 최종학력, 수학 효능감, 학교에 대한 긍정적 태도가 숙달여부에 영향을 주는 변수인 것으로 분석되었다. 모든 인지영역에서 가정의 장서 보유량과 아버지의 최종학력, 수학 효능감은 유의한 영향 변수였다. DINA모형 분석 결과, 인지영역별로 학생들의 숙달 확률을 파악할 수 있었다. 이를 통해 학생들의 인지적 특성을 자세하게 파악할 수 있으므로 낮은 숙달 확률을 보이는 영역에 대한 교수를 강화하는 등 교수전략을 효과적으로 수립할 수 있다. 또한 로지스틱 회귀분석 결과를 통해 학생의 개인 배경 변수와 내적 변수가 각 인지영역 숙달에 영향을 주는지를 파악하였다. 인지영역 숙달에 긍정적 영향을 미치는 수학 효능감과 같은 내적 특성을 높일 수 있도록 교수법을 수정·보완하고, 가정의 장서 보유량이나 아버지의 학력과 같은 학생의 배경적 특성이 인지영역 미숙달로 이어지지 않도록 학습 자원을 풍부하게 제공하여 배경적 변수의 영향력을 약화시키도록 하여야 한다. 본 연구의 결과와 같은 정보를 실제 교육현장에서 활용하여 학습자의 인지적 약점을 진단하고 이를 실질적으로 개선하는 교수방안을 마련하여 학습지향적 평가를 실현하기 위하여 노력하여야 한다.