국제 학업성취도평가(TIMSS Advanced)와 국내 고등학교 국가수준 학업성취도평가 문항의 인지 영역 분석 연구

Abstract

The purpose of this research is to provide an implication of the development of mathematics evaluation items. To achieve this, we analyze cognitive domains which achievement evaluation items aim for and characteristics of cognitive topic area required for solving each item. We also analyze different characteristics of cognitive domains depending on content domain and item types (constructed response or multiple choice), and existence of context. In this paper, 37 released mathematics items from ’95 TIMSS advanced and 40 released mathematics items from ’08 TIMSS advanced are Selected as international achievement evaluation items and 39 mathematics items from ’12 achievement evaluation for sophomore in high school are analyzed as domestic items. We select a framework consisting of cognitive and content domain from TIMSS Advanced in 2008 as a main framework of this research. The cognitive domain is composed of Knowing, Applying and Reasoning, and Knowing has different cognitive topic areas which are Recall, Recognize, Compute and Retrieve. Applying has Select, Represent, Model, Solve Routine Problems, and Reasoning has Analyze, Generalize, Synthesize/Integrate, Justify and Solve Non-routine Problems as cognitive topic areas. The content domain is composed of Algebra, Calculus and Geometry. From the results of this work, we can draw following implications for development of mathematics evaluation items. First, it is required to develop items targeted for various cognitive domains and cognitive topic areas. Second, we need to develop items which apply to various cognitive topic area. Third, cognitive areas have to be balanced for each cognitive domain in item design. Fourth, constructed response items should be designed utilizing its advantages. Finally, we have to design items by which we can measure various cognitive processes of thinking using context.;평가는 수학의 교수․학습에 있어서 중요한 역할을 한다. 학습자의 수학적 사고력을 제대로 측정할 수 있는 평가가 이루어진다면 교수․학습의 개선도 일어날 수 있다. 하지만 대부분의 평가는 학습자의 수학적 사고력을 제대로 측정하지 못하고 단편적인 수학적 지식을 결과 위주로 평가하고 있다(고상숙, 2003). 이에 평가를 통해서 학습자의 수학적 사고력을 제대로 측정할 수 있도록 현재의 평가를 개선하기 위해 현재 이루어지고 있는 평가에 대한 분석이 필요하다. 본 연구의 목적은 현재 가장 보편적으로 이루어지고 있는 평가인 지필평가의 문항 분석을 통해 학습자의 수학적 사고력을 제대로 측정할 수 있는 평가문항 개발에 대한 시사점을 제공하는 것이다. 이를 위한 연구 문제는 다음과 같다. 1. 국제 학업성취도평가와 국내 학업성취도평가 수학 문항이 목표로 하는 인지 영역과 각 문항을 해결하는데 필요한 인지 영역의 주제에 대한 특징은 어떠한가? 2. 국제 학업성취도평가와 국내 학업성취도평가 수학 문항의 내용 영역, 문항 유형(서술형, 선택형), 맥락성의 유무에 따른 인지 영역의 특징은 어떠한가? 연구문제를 해결하기위해 공신력 있는 국제 학업성취도평가와 국내 학업성취도평가 수학 문항을 인지 영역을 중심으로 분석하였다. 국제 학업성취도평가 문항으로 1995년 TIMSS Advanced 37개의 수학 공개문항과 2008년 TIMSS Advanced 40개의 수학 공개문항을 분석대상으로 설정했다. 국내 학업성취도평가 문항으로는 2012년 우리나라 고등학교 2학년 국가수준 학업성취도평가 39개의 수학 문항을 분석대상으로 설정했다. 이 문항들이 이 목표로 하는 인지 영역 및 인지 영역의 주제, 각 문항을 해결하는데 필요한 인지 영역 및 인지 영역의 주제, 내용 영역, 문항 유형(서술형, 선택형), 맥락성의 유무를 통해 문항분석을 하였다. 이를 위해 2008년 TIMSS Advanced의 인지 영역과 내용 영역 틀을 분석틀로 설정하고 코딩하였다. 신뢰도를 위해 연구자를 포함한 3명의 수학교육 전문가가 인지 영역에 대한 코딩을 하여 일치도를 확인했다. 코딩결과가 일치하지 않은 문항은 일치할 때까지 반복적으로 협의 후 재코딩 하는 과정을 거쳤다. 그 결과 각 문항에서 목표로 하는 인지 영역의 경우 1995년 TIMSS Advanced는 적용하기, 2008년 TIMSS Advanced와 2012년 우리나라 국가수준 학업성취도평가는 알기와 적용하기의 비율이 높다. 전체적으로 추론하기의 비율이 낮다. 또 각 문항에서 목표로 하는 인지 영역의 주제의 경우 1995년 TIMSS Advanced는 Solve Routine Problem, 2008년 TIMSS Advanced는 Compute, Solve Routine Problem, Analyze, 2012년 우리나라 국가수준 학업성취도평가는 Solve Routine Problem, Recall의 비율이 높다. 전체적으로 알기의 Recall, Compute, 적용하기의 Solve Routine Problem, 추론하기의 Analyze의 비율이 높다. 각 문항을 해결하는데 필요한 인지 영역의 주제의 평균 빈도수의 경우 1995년 TIMSS Advanced는 3.9, 2008년 TIMSS Advanced는 3.3, 2012년 우리나라 국가수준 학업성취도평가는 3.0이다. 알기의 Recall은 평가 종류나 인지 영역에 관계없이 거의 모든 문항에 나타나며 추론하기의 Generalize, Synthesize/Integrate, Justify는 거의 나타나지 않는다. 알기의 Recognize, Retrieve, 적용하기의 Represent, Model은 해당 비율이 다른 영역에 비해서 낮다. 적용하기나 추론하기 영역에 해당되는 문항은 대부분 알기의 Recall, Compute, 적용하기의 Select, Solve Routine Problem의 4가지 인지 영역의 주제가 패턴처럼 나타난다. 각 문항의 내용 영역의 경우 1995년 TIMSS Advanced는 미적분 영역의 비율이 가장 낮은데 반해 2008년 TIMSS Advanced는 미적분 영역의 비율이 가장 높다. 2012년 우리나라 국가수준 학업성취도평가는 미적분 영역의 문항은 없으며 대수 영역의 문항 수가 기하 영역의 세 배 정도다. 대수 영역의 경우 1995년 TIMSS Advanced와 2012년 우리나라 국가수준 학업성취도평가는 적용하기의 비율이 높고, 2008년 TIMSS Advanced는 골고루 분포한다. 미적분 영역은 1995년, 2008년 TIMSS Advanced 모두 알기 영역의 비율이 높고 추론하기 영역의 비율이 낮다. 기하 영역의 경우 1995년 TIMSS Advanced는 적용하기, 추론하기, 2008년 TIMSS Advanced는 적용하기, 2012년 우리나라 국가수준 학업성취도평가는 알기, 적용하기의 비율이 높다. 각 문항을 해결하는데 필요한 인지 영역의 주제 빈도수의 평균은 1995년 TIMSS Advanced의 경우 다른 영역에 비해 기하 영역만 높고, 2008년 TIMSS Advanced의 경우 다른 영역에 비해 미적분 영역만 낮다. 2012년 우리나라 국가수준 학업성취도평가는 두 영역이 비슷하다. 각 문항의 문항 유형(서술형, 선택형)의 경우 1995년, 2008년 TIMSS Advanced는 서술형이 전체의 37% 이상이지만 2012년 우리나라 국가수준 학업성취도평가는 26% 이다. 1995년 TIMSS Advanced의 경우 서술형 문항은 적용하기와 추론하기 영역, 선택형 문항은 알기와 적용하기 영역의 비율이 높다. 2008년 TIMSS Advanced의 경우 서술형 문항은 적용하기 영역, 선택형 문항은 알기 영역의 비율이 높다. 2012년 우리나라 학업성취도평가의 경우 서술형 문항 중 추론하기에 해당하는 문항이 하나도 없고 알기 영역에서 선택형 문항 보다 서술형 문항의 비율이 더 높다. 각 문항을 해결하는데 필요한 인지 영역의 주제 빈도수의 평균은 1995년, 2008년 TIMSS Advanced는 서술형이 더 높은데 반해 2012년 우리나라 학업성취도평가는 선택형이 더 높다. 1995년, 2008년 TIMSS Advanced는 서술형 문항에 다양한 인지 영역의 주제가 해당되지만 2012년 우리나라 학업성취도평가는 선택형 문항에 더 다양한 인지 영역의 주제가 해당된다. 맥락성이 포함된 문항이 1995년 TIMSS Advanced는 38%, 2008년 TIMSS Advanced와 2012년 우리나라 학업성취도 평가는 각각 15%이다. 1995년 TIMSS Advanced의 경우 맥락성이 포함된 문항과 포함되지 않은 문항 모두 적용하기의 비율이 가장 높다. 하지만 알기와 추론하기 영역에서 맥락성이 포함된 문항은 Retrieve, Solve Non-routine Problem이, 맥락성이 포함되지 않은 문항은 Recall, Analyze의 비율이 높다. 2008년 TIMSS Advanced에서 맥락성이 포함된 문항은 알기 영역이 하나도 없으며 추론하기 영역의 비율이 높고 적용하기의 인지 영역의 주제 중 Model의 비율이 높다. 하지만 맥락성이 포함되지 않은 문항은 알기 영역의 비율이 가장 높고 추론하기 영역의 비율이 낮다. 2012년 우리나라 학업성취도평가는 맥락성이 포함된 문항은 추론하기 영역이, 맥락성이 포함되지 않은 문항은 적용하기 영역의 비율이 높다. 각 문항을 해결하는데 필요한 인지 영역의 주제 빈도수의 평균은 1995년 TIMSS Advanced는 맥락성의 포함 여부와 상관없이 비슷하지만 2008년 TIMSS Advanced와 2012년 우리나라 학업성취도평가는 맥락성이 포함된 문항이 더 높다. 또 맥락성이 포함된 문항의 인지 영역의 주제의 빈도가 포함되지 않은 문항보다 더 다양하게 나타난다. 본 연구의 결과를 통해 학습자의 수학적 사고력을 제대로 측정할 수 있는 평가문항 개발에 대한 다음과 같은 결론을 내릴 수 있다. 첫째, 다양한 인지 영역 및 인지 영역의 주제를 목표로 하는 문항 개발이 필요하다. 둘째, 한 문항 안에서도 다양한 인지 영역의 주제에 해당되는 문항 개발이 필요하다. 셋째, 각 내용 영역에 대해서 인지 영역의 균형을 맞추어 출제해야 한다. 넷째, 서술형 평가의 이점을 잘 활용하여 학습자의 인지적 사고과정을 볼 수 있는 문항을 개발해야 한다. 다섯째, 맥락성을 적절하게 활용하여 다양한 인지적 사고과정을 볼 수 있는 문항을 개발해야 한다.