인지진단모형에 의한 성별에 따른 수학 성취 특성 차이 분석

Abstract

평가는 학생을 서열화하고 상대적 위치를 부여해 선별하기보다, 교수·학습과 연결되어 학습을 극대화하고 교육의 질을 향상시킬 수 있어야 한다. 따라서 평가의 본질적 목적을 실현하기 위해 학생들의 학습에 도움을 줄 수 있는 평가 체제를 구축해야 한다. 지금까지의 평가는 총점이나 성취수준의 정보를 통해 종합적인 관점에서 학생들의 성취를 알려주어 석차를 매기거나 등급을 정하는데 도움을 줄 수 있지만, 학생들에게 학습개선을 위한 진단적 정보를 제공하지 못한다. 평가를 통해 보완해야 할 부분이 무엇인가에 대한 구체적인 정보를 줄 수 있다면, 학생들은 자신의 강점과 약점을 바탕으로 학습 계획을 세우고, 교사는 학생들에게 적합한 교수·학습법을 개선할 수 있을 것이다. 이와 같은 평가 결과의 제한된 정보를 보완할 필요에 의해 교육평가 분야에서 인지진단이론이 주목받게 되었다. 인지진단이론은 평가에 의해 측정되는 여러 가지 지식 및 기능에 대해 학생이 습득하고 있는지 여부를 파악하여 다양한 측면에서 학생의 인지상태를 파악하고 학습에 실질적인 도움을 주고자 개발된 이론이다. 인지진단모형을 적용하여 개별 학생들의 인지상태를 확인할 수 있다면, 그 학생들이 속한 집단에 대한 평균적인 인지상태도 확인할 수 있게 된다. 학교 교육의 현장에서 개별 학생에 맞춰 수업이 이루어지기 어려운 현실을 감안할 때 집단별 평가 결과를 통해 교수·학습에 연계할 수 있을 것이다. 집단별 성취 특성 중 최근 시행된 수학 학업성취도 평가에서 성별 집단에 대한 성취 특성이 비슷한 결과가 나타난 것을 바탕으로 본 연구에서는 성별 요인을 고려하여 인지진단모형에 의한 분석 결과를 보고자 한다. 대규모 학업성취도 결과 중 참여국들의 교육과정에 기초한 평가인 TIMSS를 가지고 분석하였으며, 중학교 2학년 수학 평가에서 성별 성취도 차이가 통계적으로 유의한 결과가 나옴에 따라 인지진단모형을 적용하여 성별 수학 성취 특성을 보다 상세하게 분석하여 인지요소에 따른 인지상태를 진단하고 교수·학습에 유용한 정보를 제공하고자 한다. 이를 위해서 본 연구에서는 TIMSS 수학 평가틀을 토대로 인지요소를 규정하고 교과전문가들의 합의를 통해 Q행렬을 개발하였다. Q행렬 구축에서의 주관성을 감소시키기 위해 자카드 계수 산출과 다중회귀분석을 통한 통계적 분석에 의한 타당화를 적용하여 Q행렬을 확정하였다. 구축된 Q행렬과 학생들의 문항 응답을 가지고 인지진단모형 중 DINA 모형으로 분석하여 세부 인지요소에서의 성별 성취 특성을 파악하였다. 본 연구를 통해 얻은 주요 결과와 교수·학습에의 시사점은 다음과 같다. 첫째, 피험자의 문항 반응 패턴과 문항이 측정하고 있는 인지요소와의 상관으로 산출되는 인지요소의 숙달 확률을 추정하여 성별에 따른 인지요소별 숙달 확률의 평균을 비교한 결과, 모든 인지요소에 대해 남학생이 여학생보다 평균 숙달 확률이 높은 것으로 나타났다. 남학생은 자료해석에 대해 강점을 보이고 여학생은 분수와 소수에 대해 강점을 나타내었으며, 남·여학생 모두 대수식에 관해 약점을 보였다. 성별에 따라 인지요소 숙달 확률의 평균이 통계적으로 유의하게 차이가 나타난 인지요소는 ‘범자연수’, ‘비, 비례식, 백분율’, ‘패턴’, ‘위치와 이동’, ‘자료조직과 표현’, ‘자료해석’으로 6개이다. 성별에 따른 차이가 가장 큰 인지요소는 ‘비, 비례식, 백분율’ 인지요소이며, 차이가 가장 작은 인지요소는 ‘방정식/식과 함수’로 나타났다. 이와 같이 인지진단모형에 의한 분석 결과를 통해 성별에 따른 성취 특성 차이를 좀 더 세분화된 인지요소별로 볼 수 있으며, 이는 제한된 평가 결과를 보완하여 제공함에 따라 교수·학습에 활용하는데 도움을 줄 수 있다. 둘째, 성별에 따른 성취 특성을 살펴보고자 인지요소의 숙달 확률을 0.5를 기준으로 하여 숙달과 미숙달로 숙달 여부를 분류한 후 인지요소 숙달 양상을 비교하였다. 숙달한 인지요소의 수를 분석한 결과, 남학생과 여학생 모두 전체 13개 인지요소를 숙달한 경우의 비율이 가장 높고, 3개를 숙달한 경우의 비율이 가장 낮았다. 또한 남학생이 여학생보다 더 많은 수의 인지요소를 숙달한 경향이 있는 것으로 나타났다. 다음으로 인지요소별 숙달학생 비율을 추정하여 성별에 따라 비교한 결과, 남학생과 여학생 모두 ‘자료조직과 표현’ 인지요소에 대한 숙달학생 비율이 가장 높게 나타났고, ‘대수식’ 인지요소에 대한 숙달학생 비율이 가장 낮게 나타났다. 또한 ‘정수’와 ‘방정식/식과 함수’ 인지요소를 제외하고 모두 남학생이 여학생보다 높은 숙달학생 비율을 나타냈다. 인지요소 숙달학생 비율의 차이가 가장 크게 나타난 인지요소는 ‘비, 비례식, 백분율’ 인지요소이며, ‘분수와 소수’ 인지요소는 차이가 가장 작게 나타났다. 이와 같은 결과에 따라 남·여학생 모두 숙달학생 비율이 낮은 대수식과 관련하여 보충학습을 통해 숙달학생 비율을 높일 필요가 있으며, 여학생에게 전반적인 인지요소의 숙달을 위한 학습 지원이 필요하다고 파악할 수 있다. 성별에 따라 통계적으로 유의한 차이가 있는 것으로 나타난 ‘범자연수’, ‘비, 비례식, 백분율’, ‘패턴’, ‘위치와 이동’ 인지요소에 대해서는 교육과정과 수업에 대한 검토를 통해 성별 차이에 영향을 미치는 요인이 있는지 확인해보고, 추후의 교수·학습에 대한 계획을 세우는데 고려할 필요가 있다. 셋째, 인지요소 숙달 여부로 표현된 인지요소 프로파일 잠재집단과 그 잠재집단에 속한 피험자의 비율을 추정하여 성별에 따라 비교한 결과, 남학생에게는 잠재집단의 상위 비율에 많이 포함되어 있는 ‘대수식’을 먼저 숙달 할 수 있도록 교수·학습의 순서를 설정하고, 여학생에게는 잠재집단 상위 비율이 주로 하나의 인지요소를 미숙달한 경우이므로 서로 미숙달한 인지요소를 보완할 수 있는 학습이 이뤄질 수 있도록 집단별 상호학습으로 방향을 설정한다면, 잠재집단별 학생들의 이동을 가장 크게 할 수 있으며 효율적으로 숙달 확률을 높일 수 있을 것이다. 인지요소 프로파일에 의한 잠재집단의 분류는 인지요소 프로파일 잠재집단의 형태와 비율의 정보에 따라 집단별 특성에 맞는 교수·학습 방향과 순서를 정하여 제공할 수 있으며, 이를 통해 각 집단별 맞춤형 학습이나 교육이 가능하도록 하여 학생들에게 인지요소의 숙달을 효율적으로 지원할 수 있다. 본 연구에서는 인지진단모형을 적용하여 인지요소에 따른 남·여학생의 수학 성취 특성을 분석함에 따라, 각 집단의 인지적 강점과 약점을 구체적으로 살펴볼 수 있었다. 이와 같은 집단별 상세한 진단 결과가 제공되면 교사는 집단의 인지요소 숙달 정도에 맞춰서 교수의 방향을 정하고 집단별 피드백을 줄 수 있게 된다. 본 연구는 성별에 따른 성취 특성 분석을 위해 고전검사이론에서 더 나아가 인지진단이론을 적용하여 보았다는 점에서 측정학적으로 접근해 본 것과, 평가 결과를 인지요소별로 제공함에 따라 평가 결과를 보완하고 교수·학습과 연결해보고자 하였다는 점에서 의의가 있다.;Assessment should be associated with teaching and learning in a fair way to maximize learning and improve the quality of education rather than instigate ranking students and thus impose relative positions for the benefit of selection. Therefore, an assessment system possibly conducive to student learning need be established to implement the essential objectives of assessment. Conventionally, assessment provides information about total scores or achievement levels from a comprehensive perspective to help rank or rate students without offering direct diagnostic information for learning in favour of them. Should assessment inform students of their weaknesses, they will be able to plan their learning based on their strengths and weaknesses whilst teachers work on teaching-learning methods fit for students. Pertaining to the demand for supplementing the limited information about assessment results, cognitive diagnostic theory has come to the fore in the field of educational assessment. Cognitive diagnostic theory has been developed to help identify whether students acquire knowledge and skills measured by assessment, to determine their cognitive states from multiple perspectives and ultimately to provide practical assistance for substantial learning. A cognitive diagnostic model would shed light on individual and collective cognitive states of students. Given the challenging reality hindering teachers from taking personalized approaches to instruction, collective assessment results could liaise with teaching and learning. Based on the similar gender-specific results in collective achievement characteristics elicited from a recent mathematics achievement test, the present study analysed gender factors using a cognitive diagnostic model. Specifically, among large-scale scholastic achievement results, the TIMSS test based on participant countries’ curriculums was analysed. With gender-specific achievements in mathematics among the 8th graders found statistically significant, a cognitive diagnostic model was applied to further analyse gender-specific mathematics achievements, diagnose cognitive states in line with attributes and provide information conducive to teaching and learning. First, this study established cognitive attributes based on the TIMSS mathematics assessment framework and developed a Q-matrix based on a consensus among subject specialists. To lessen any subjectivity in the course of building the Q matrix, statistical analysis using Jaccard coefficients and multiple regression analysis were applied for validation prior to the final confirmation of the Q-matrix. With the Q-matrix and students’ responses to question items, the DINA model was used as a cognitive diagnostic model to analyse and identify gender-specific characteristics in mathematics achievement with reference to specific attributes. The findings and implications of this study for teaching and learning are as follows. First, the gender differences in mean probability of mastering each attribute were compared by extrapolating the probability of mastering attributes estimated based on the correlation between item response patterns and attributes measured by such items. The average probability of mastering every attribute was higher in male students than in female counterparts. Male students were good at data analysis whilst female students proved relatively good at fractions and decimals. Both genders were found poor at algebraic expressions. The statistically significant gender differences in mean probability of mastering cognitive attributes were found in 6 attributes: ‘Whole numbers’, ‘Ratio, proportional expressions and percentages’, ‘Patterns’, ‘Positions and translation’, ‘Data organization and representation’ and ‘Data analysis.' The gender difference in attributes were found most significant in ‘Ratio, proportional expressions and percentages', whereas it was least significant in ‘Equations/Expressions and functions.’ Based on the analysis results derived from the cognitive diagnostic model, gender differences in achievement profiles were explicated in detail for each cognitive attribute, which complements the limited assessment results and thus can be applicable to teaching and learning. Second, to investigate gender differences in achievement profiles, the probability of mastering attributes was divided into mastery and non-mastery with 0.5 applied as the baseline to compare the aspects of mastering cognitive attributes. The numbers of attributes mastered were analyzed. The percentage of mastery in 13 attributes was highest in both male and female students, whereas the percentage in 3 attributes was lowest. Also, male students tended to master more attributes than females. Then, the percentages of students mastering attributes were extrapolated and compared between genders. The highest percentage of students was found to master the attribute ‘Data organization and representation,’ whereas the attribute ‘Algebraic expressions’ was associated with the lowest percentage of mastery in both genders. In addition, excluding 'Integers' and 'Equations/Expressions and functions', male students showed higher percentage of mastery in every attribute than female counterparts. The most significant gender difference in the percentage of mastery was found in ‘Ratio, proportional expressions and percentages’, whilst the least significant difference was found in ‘Fractions and decimals.' These findings suggest that the algebraic expressions associated with the lowest percentage of mastery in both sexes need be supplemented to increase the percentage of mastery in students, and that learning should be supported for female students' mastery of overall attributes. Regarding statistically significant gender differences in ‘Whole numbers’, ‘Ratio, proportional expressions and percentages,' 'Patterns,' and 'Positions and translation' cognitive attributes, curriculums and lessons should be reviewed to identify any factors affecting the gender differences, and then such factors should be considered in developing subsequent teaching-learning plans. Third, the cognitive profiles represented in mastery and non-mastery of cognitive attributes and the percentage of potential groups as well as that of subjects in the group were extrapolated and compared between the two sexes. In short, teaching-learning sequence should be applied to male students in a way that they can first master the 'Algebraic expressions' included in the upper percentage in the potential group. As most female students were found to come under the non-mastery of one attribute as the upper percentage of the potential group, the direction should be shifted toward group-based mutual learning so that they can make up for the non-mastery attributes, which will have the greatest effects on students' movement in each potential group and improve the probability of mastery efficiently. Dividing students into potential groups based on attribute profiles can provide the direction and sequence of teaching and learning fit for group profiles in line with the information about the percentage and form of attribute profiles in potential groups, which will make learning or instructions customized for each group and help support students with efficient mastery of attributes. The present study applied the cognitive diagnostic model to analyze mathematics achievement profiles in line with attributes in male and female students and thus to shed light on each group's cognitive strengths and weaknesses. When teachers gain detailed diagnostic results for each group, they can define the direction of teaching in compliance with the group's mastery levels of attributes and then provide feedback for each group. This study is meaningful in that gender-based achievement profiles were analyzed with the cognitive diagnostic theory beyond the classical test theory by taking an meteorological approach, and that assessment results for each attributes were provided to make up for assessment results and to connect such results with teaching and learning.