국가수준 학업성취도 평가의 잠재집단 분류와 인지 특성 분석

Abstract

평가의 목적은 학생의 수행 수준을 확인하는 것뿐만 아니라 학생의 수행을 향상시키고, 그것을 위해 교육해야 하는 활동을 포함한다. 그러나 교육의 책무성이 점점 강조됨에 따라 교육에 필요한 자원은 점차 평가의 결과에 따라 불균형하게 분배되고, 평가의 결과는 학생의 성과를 향상시키기보다는 학생의 수준을 확인하는 데에만 그치고 있다. 지금까지 대부분의 평가는 총점에 근거하여 이루어졌다. 총점 중심의 평가란 어떤 시험이나 수행에서 한 학생을 평가하기 위하여 하나의 점수를 산출하는 평가의 형태를 총칭한다. 총점 중심의 평가에서 학생이 제공받는 점수에 근거했을 때 그 학생이 왜 그 점수를 얻게 되었는지를 이해하기란 특별히 마련된 다른 추가적인 정보나 지식이 없는 한 불가능하다. 이러한 평가결과에 대한 해석은 총점 중심의 해석이라는 문제뿐만 아니라, 같은 점수를 획득한 학생은 모두 같은 능력을 소유한 것으로 간주하는 문제점도 가지고 있다. 이는 피험자의 능력 수준을 결정하거나 검사의 양호도를 결정하는 데 있어서 각 피험자의 사고의 과정이 직접적으로 고려되지 않았기 때문에 발생하는 문제로 볼 수 있다. 초등학생의 국가수준 학업성취도 평가의 수학 성취도와 관련된 대부분의 연구는 성취수준에 따라 학생의 성취도를 분석하였다. 그러나 그 성취수준은 점수에 따라 분류되었고 학생이 그 점수를 얻기까지의 인지적인 과정에는 관심을 갖지 않았다. 문항 응답 이면의 인지적 과정에 대해서도 관심을 가지고 학생들의 성취도를 판단할 수 있다면 학생의 지적 상태를 더 잘 이해할 수 있을 것이다. 즉, 단지 학생이 맞힌 정답률에 의한 집단 분류뿐만 아니라 학생이 가지고 있는 인지 특성에 근거한 집단 분류도 가능하다면 이를 통해 학생의 성취도에 대한 원인을 다양한 관점에서 바라보고 더 직접적이고 자세한 교육적 처치가 이루어질 것이다. 또한 각 집단마다 구체적으로 어떤 인지 특성이 반영되어 그 집단이 구분되었는지 파악할 필요가 있다. 본 연구는 대규모 학업성취도 검사의 성취도 결과에 대해 학생들의 문항응답반응에 따라 잠재집단으로 분류하고, 각 집단에 속한 학생들의 성취도의 경향성을 분석하여 각 집단별 인지적 특징을 파악하는 데 목적이 있다. 분석에 사용된 자료는 2008년 국가수준 학업성취도 평가 초등학교 6학년 수학 선다형 문항에 응답한 18,813명의 응답이다. 이들 문항응답반응에 가장 적합한 잠재집단의 수를 탐색하기 위해 잠재집단분석을 적용하였고, 각 집단별 인지 특성을 파악하기 위해 진단분류모형 중 DINA 모형을 적용하였다. 연구를 통해 얻은 결론은 다음과 같다. 첫째, 본 연구 대상에 가장 적합한 잠재집단 수를 결정하기 위해 집단의 수를 다르게 하여 모형 적합도를 분석한 결과, 잠재집단의 수를 6개로 하였을 때 연구 대상에 가장 적합한 것으로 나타났다. 또한 잠재집단분석을 통해 학생들의 문항응답반응에 따라 각 학생들의 잠재집단에 속할 사후분포확률이 추정되고 학생들은 여섯 개의 잠재집단으로 분류되었다. 둘째, 최종 분류된 여섯 집단은 각 집단마다 인지적 강점과 약점이 다양하게 나타났다. 첫 번째 집단은 ‘측정’ 내용을 완전히 숙달하였고 그 외 나머지 내용 영역도 대부분 숙달하였다. 단, ‘소수점’과 ‘소수의 자리수’ 개념의 숙달 비율이 매우 낮았다. 두 번째 집단은 대부분의 내용영역에서 높은 숙달 비율을 나타냈다. 다소 낮은 숙달 비율을 보인 인지요소는 ‘경우의 수’ 관련 개념과 ‘규칙 찾기’ 관련 개념이다. 세 번째 집단은 대부분 인지요소 숙달비율이 0.5에 그쳤다. 이 집단의 학생들은 특히 ‘분수’ 개념과 ‘측정’ 영역의 단위 개념이 약하다는 것을 알 수 있었다. 네 번째 집단은 ‘수와 연산’ 내용 영역에 해당하는 인지요소의 숙달 비율이 전반적으로 낮게 나타났다. 다섯 번째 집단의 학생들은 도형과 관련된 개념에 강하다는 것을 알 수 있었다. 여섯 번째 집단은 대부분 인지요소에서 낮은 숙달비율을 나타냈다. 특히 자연수에 대한 개념과 문제 해결하는 방법에 대한 부분이 취약했다. 이와 같이 학생들은 문항응답반응에 따라 6개의 잠재집단으로 분류되었고 각각의 집단에 따라 학생의 인지 특성에서 차이가 나타나는 것을 확인할 수 있다. 무엇보다도 각 집단에 속한 학생들이 부족한 인지요소를 파악할 수 있다는 점은 교사와 학생의 일대일 수업이 불가능한 교육 현실에서 교사는 인지요소의 숙달 여부에 따른 프로파일이 비슷한 학생들로 이루어진 각 집단에 대해 부족한 인지요소를 보강하기 위해 가장 적절한 피드백을 제공할 수 있다는 점에서 의의가 있다. 즉, 대부분의 전통적인 대규모 표준화 검사가 대학 입학 여부와 같이 학생들의 미래를 결정하기 위한 점수만 제공한다는 지적을 받아왔다는 점을 고려해볼 때, 학업성취도 평가에 진단분류모형을 적용한 것은 학생들의 부족한 부분을 충족시켜 학습을 도울 수 있으며 학생들에게 필요한 영역에 대한 능력을 스스로 개발할 수 있도록 한다는 점을 시사한다. 연구 결과에 비추어 볼 때에, 기존의 학업성취도 평가에서 총점에 의한 성취수준만 분류하였다면, 앞으로는 진단 분류적 접근을 시도하여 잠재집단 분류도 가능하다는 것을 알 수 있다. 각 성취수준에 도달한 학생들의 분포를 파악하는 것뿐만 아니라 학생의 실질적인 이해에 근거한 학생 지도의 지침이 될 만한 평가 정보를 제공할 수 있다. 더불어 본 연구의 결과를 토대로 학교 현장에서 수준별 수업이 보다 구체적으로 이루어질 수 있을 것이다. 잠재집단별 인지요소의 분포가 제공되고, 각 학생이 어떤 잠재집단에 속하는지도 알 수 있기 때문에 이 결과가 학생과 교사들에게 제공된다면 각 학생에게 가장 적합한 수준별 수업에 대한 구체적이고 실질적인 계획이 세워질 수 있을 것이다. 이러한 대규모 학업성취도 검사의 잠재집단 분류에 대한 진단 분류 연구는 지속적으로 진행되어야 한다. 즉 해마다 실시되는 성취도 평가에서 학생들이 숙달한 인지요소에 따라 어떻게 잠재집단이 분류되는지, 그 집단마다 인지요소의 숙달 패턴은 어떠한지에 대한 장기적인 연구를 통하여 현장에 적용하고, 적용 결과에 근거하여 주기적으로 검사를 개선하여야 할 것이다. 더불어 본 연구의 결과를 교육 현장에서 사용한다면 평가는 보다 직접적으로 교수-학습에 도움이 될 만한 내실 있는 학교교육의 모습이 되도록 활용될 수 있을 것이다. 평가 결과를 분석하고 활용하는 틀로서 전체 점수 이외의 다른 정보, 즉 학생들이 숙달한 인지요소에 대한 정보를 포함하게 되기 때문이다. 학생 입장에서는 자신의 수학 성취도를 향상시키는 데 필요한 부분을 구체적으로 인식할 수 있게 되고, 교사들은 교수활동에서 역점을 두어야 할 부분을 인식하고 교수의 방향을 정할 수 있을 것이다. ;The aim of assessment is to educate and improve student performance and not merely to audit it. Assessment should be used not only to ascertain the status of learning but also to further learning. However, with the growing emphasis on accountability, more and more available resources are disproportionately allocated toward assessments that only audit learning but do not provide information that can facilitate instruction and learning. Assessment, for the most part, has been based on the total score. Total score-based assessment generally indicates the type of assessment in which, on the test or the achievement, a single grade is calculated to evaluate a student. Based on the data from the total score-based assessment, understanding why the students get such a score is impossible, unless additional information or data about the student is provided. The problem with this interpretation is not only that it just interprets total score, but also that it considers students who have the same score to be equal in terms of ability. This is because the examinees' thought process was not taken into consideration when judging the examinees' ability or the quality factor of the assessment. Most of the research that had been done for the nation-wide assessment of elementary school students analyzed the mathematical attainment of the student by performance level. However, the performance level of the student was classified by the score, and the cognitive process of the how the student understood the material had not been assessed. We can understand the student’s intellectual state better if we can extend the interest beyond the problem-solving process to the underlying cognitive process. In other words, if we can classify the groups based not only on the percentage of correct answers, but also on the cognitive characteristic of the student, the cause of the student's performance can be viewed from various perspectives, so that more direct, specified and appropriate educational measures can be adapted to the student. It is also necessary to identify how each group is classified and what specific cognitive characteristic the classification reflects. The purpose of this study is, using the results of large-scale assessment, to classify students into latent classes based on their responses to the questions, and to identify the cognitive characteristic of each group by analyzing the inclination of the performance of the students. The analyzed data is the response of 18,813 6th grade students who took the multiple-choice item on NAEA, the National Assessment of Educational Achievement, in 2008. Latent Class Analysis(LCA) is implemented to find the number of latent classes that fit best to the item response, and among the Diagnostic classification model(DCM), DINA model is applied to the case to identify the cognitive characteristics. The conclusion of this study is the following: First of all, as a result of model fit analysis, 6 latent classes fit best for the subject of this study. By LCA, which uses students' responses to the questions, the posterior distribution probability for each student is estimated and students are classified into 6 latent classes. Second, finalized classes showed different cognitive characteristics for each group. Class 1 mastered most of the contents covered, including the 'measuring' part, but a small proportion of the students fully understood the concepts of ‘decimal point’ and 'digit of a decimal figure’. Class 2 students also mastered most parts of it, but the mastery ratio for two attributes, concepts of 'number of cases‘ and 'finding patterns’was somewhat low. The mastery ratio of class 3 was 0.5 for the most part. The students in this class had poor understanding of the concepts of 'fraction‘ and 'measuring’. Class 4 had low ratio of mastery for attributes related to 'numbers and arithmetic‘ overall. Class 5 students were solid on the concept of figures. Class 6 showed low mastery for most of the attributes, especially in the concepts of ‘natural number’ and problem solving. Students were classified into 6 classes based on their item response patterns, and the cognitive characteristics of the students in each class are different. Considering that many traditional and standardized large-scale assessments only provide scores that are used for the students' future, including college acceptance, the result of the study suggests that diagnostic classification application of achievement tests can help the student work on areas where they fall behind and enable them to develop what they need to improve by themselves. Current achievement tests only classify level of attainment according to the total score. However, based on the results, it is possible to determine latent class by adapting a diagnostic classification approach. With this approach, the distribution of the students who achieved each attainment level is easily identified, and the assessment data can be a guideline for the teachers to educate the students with better understanding of them. In addition, level oriented teaching can be more specified based on the result of the study. Because the distribution of the attributes for each latent class will be provided, and the information about which latent class the students are in will be given, more specified and practical plans for level oriented teaching can be designed if these results are offered to the students and teachers. Study for diagnostic classification of latent class in large-scale assessment should be continued. In other words, long term research should be carried out about how attributes that students attained affect the classification of the latent classes and how different the attribute mastery pattern is among the classes. Field application and improvement of the regular monitoring system based on the result of the application should also be included. Moreover, if the study is utilized in the field, then the useful value of the assessment would be expanded to make schooling more practical. This is because information about the mastery attribute of the student will be included in the tool for analyzing and applying the result of the assessment. Students will be able to identify what is necessary to improve their achievement, teachers will be able to understand the focus of their instructional activities and decide the direction of their instruction, and schools or education authorities will be able to evaluate the curriculum and policies on the basis of accurate understanding about students' achievement for each attribute, supporting the education program in the future.