TIMSS 2011 공개문항과 학교수준 평가문항의 인지영역 분석 연구

Abstract

Mokros, Russell, & Economopoulos(1995) stressed on the importance of assessment. They said that assessment provides guidelines for teaching learning. They emphasized again teachers can not teach students properly when they did not get information on students’ ability, mathematical understanding, personal disposition, and so on. NCTM urged assessment on mathematical knowledge factors in its assessments (NCTM, 1995). According to 2007 Revised Curriculum, it is important to confirm the cognitive domain through assessments because it help each student’s mathematics learning and whole-rounded growth. The cognitive domain can be assessed in school tests to develop students’ cognitive domain evenly. To do this, assessments were diagnosed in this study. Teachers will be able to be provided the information for different questions of the cognitive domain by analyzing the questions of Middle school tests in this study. Research problems were set up as follows to achieve such a goal in this study. First, What is the result of TIMSS 2011 mathematics released items analyzed with cognitive topic areas, according to TIMSS Mathematics Framework? Second, What is the result of Korean school test questions analyzed with content, cognitive domains and cognitive topic areas, according to TIMSS Mathematics Framework? The questions of the school tests were chosen in four times 2012 regular tests for the eighth-graders published at five schools in five Seoul education offices in-local. The questions of the International Assesment were selected in eighth-grade TIMSS 2011 mathematics released items. 494 questions were gathered in the school tests and 89 ones in TIMSS. The questions, the analysis object, were coded with TIMSS 2011 Framework. In this study, eighth-grade 2011 TIMSS mathematics released items were analysed with the cognitive topic areas and the Middle School test questions in Seoul with the content, cognitive domains and cognitive topic areas. The results of the first research problem were as follows: First, TIMSS 2011 released items, the international assessment, were analysed with the 13 cognitive topic areas. There were no questions related to measuring, justifying, solving non-routine problems. Five cognitive topic areas were taken in Applying. Second, 16 questions(47%) are taken for computing in Knowing, 34 ones(55%) for selecting in Applying, and 17(71%) for analyzing in Reasoning. The results of the second research problem were as follows: First, the questions of Middle School tests were analysed with 12 cognitive topic areas. There were no questions related to recognizing, retrieving, measuring, and implementing. Five cognitive topic areas had been on Reasoning. Second, reasoning, 228 questions(46%), were most presented among cognitive areas in school tests. 52 computing questions(67%) were taken most in Knowing, 140 selecting questions(74%) most in Applying, and 130 analyzing questions(57%) most in Reasoning. Third, 10 units of the eighth-grade Textbook were analyzed according to cognitive topic areas. 8 units were taken for recalling in Knowing, 9 ones for selecting in Applying, and 10 ones for analyzing in Reasoning. Fourth, 8 different cognitive topic areas were appeared in rational numbers, approximation, and a linear function. The unit with fewest areas, 5 different cognitive topic areas, was similar geometrical properties. Fifth, the average frequency of cognitive topic areas was 1.4 questions in Knowing, 2.1 ones in Applying, and 2.8 questions in Reasoning according to analysis of 10 units of the eighth-grade textbook. The total frequency was 6.4 questions. The conclusion of this study are as follows: First, It was confirmed that TIMSS 2011 released items, the international assessment, evaluated the cognitive topic areas more evenly than school tests. It was diagnosed that TIMSS evaluated cognitive topic areas in Applying and school tests in Reasoning more evenly. Second, fewer questions were taken in Knowing according to the analysis result of school tests. The ratio of questions in Knowing need to increase for lower-level students. Third, It is needed to consider presenting questions related to cognitive topic areas such as recalling, recognizing, and measuring. Fourth, it is necessary to supplement questions related to cognitive topic areas such as classifying and ordering, representing, generalizing and specializing, and justifying. Fifth, it is necessary to present more different cognitive topic areas in similar geometrical properties.;Mokros, Russell, & Economopoulos(1995)는 평가가 교수 학습의 도우미로서 학생의 능력, 수학적 이해, 개인적 성향 등등 학생에 대한 정보를 제공한다고 말했다(강옥기 외, 2012 재인용). 교사가 학생들을 제대로 지도하기 위해서는 학생에 대한 정보가 필요하므로 학생에 대한 유용한 정보수집으로써의 평가는 매우 중요하다 하겠다. NCTM에서도 수학적 지식의 내용과 과정에 대한 평가를 역설하며NCTM, 1995) 정보 제공으로써의 평가의 중요성을 강조하고 있다(NCTM, 2000). 2007 개정 교육과정에 따르면 평가를 통해 수집된 학생의 인지적 정보가 학생 개개인의 수학 학습발전 뿐만 아니라 전인적인 성장을 돕기 때문에 평가를 통한 인지적 영역의 확인이 중요하다고 제시하고 있다(교육인적자원부, 2007). 다양한 인지영역의 평가를 위해 학교수준 평가문항을 분석하여 평가를 진단하고 교사들에게 다양한 인지영역 출제를 위한 정보를 제공하는데 연구의 목적이 있다. 위와 같은 목적을 달성하기 위하여 본 논문에서는 다음과 같은 연구문제를 설정하였다. 1. TIMSS 2011 평가틀에 비추어 TIMSS 2011 중학교 2학년 수학과 공개문항을 인지영역 하위요소로 분석한 결과는 어떠한가? 2. TIMSS 2011 평가틀에 비추어 우리나라의 중학교 2학년 수학과 학교수준 평가문항을 내용영역, 인지영역, 인지영역 하위요소로 분석한 결과는 어떠한가? 국제수준 평가문항으로는 TIMSS 2011 중학교 2학년 수학과 공개문항(총 89문항)을 선정하였고 학교수준 평가문항은 서울특별시에 소재한 5개 중학교에서 2012년에 1년간 시행된 중간ᐧ기말고사 문항을 학교별로 4개씩 수집하여, 총 20개의 검사지(총 494문항)를 선정하였다. 본 연구자는 TIMSS 2011의 평가틀을 기반으로 한 분석틀을 이용하여 분석대상인 평가문항들을 코드화하였다. 본 연구는 TIMSS 2011 중학교 2학년 수학과 공개문항의 인지영역 하위요소를 분석하고 서울특별시에 소재한 5개의 중학교에서 수집한 학교수준 평가문항의 내용영역, 인지영역, 인지영역 하위요소를 분석하여 다음과 같은 결과를 얻었다. 연구문제1의 결과는 다음과 같다. 첫째, 국제수준 평가문항 TIMSS 2011 공개문항은 13가지의 인지영역 하위요소가 나타나는 것으로 분석하였다. 측정하기, 정당화하기, 비정형적 문제해결하기에 해당하는 문항이 없었고 적용하기 영역에서는 5가지 인지영역 하위요소가 모두 나타났다. 둘째, TIMSS 2011 공개문항은 알기 영역에서는 계산하기가 16문항(47%), 적용하기 영역에서는 선택하기가 34문항(55%), 추론하기 영역에서는 분석하기가 17문항(71%)으로 가장 많이 나타났다. 연구문제2의 연구 결과는 다음과 같다. 첫째, 학교수준 평가문항은 12가지 인지영역 하위요소가 나타나는 것으로 분석하였다. 인식하기, 인출하기, 측정하기, 실행하기에 해당하는 문항은 없었고, 추론하기 영역에서 5가지 인지영역 하위요소가 모두 나타났다. 둘째, 학교수준 평가문항의 인지영역 비율은 추론하기 영역에서 228문항(46%)으로 가장 많이 나타났다. 인지영역 하위요소의 비율은 알기 영역에서는 계산하기가 52문항(67%), 적용하기 영역에서는 선택하기가 140문항(74%), 추론하기 영역에서는 분석하기가 130문항(57%)으로 가장 많이 나타났다. 셋째, 인지영역 하위요소를 기반으로 하여 중학교 2학년 10개의 대단원을 분석한 결과 알기영역은 회상하기가 8개의 단원, 적용하기 영역은 선택하기가 9개의 단원, 추론하기 영역은 분석하기가 10개의 단원에서 나타났다. 넷째, 학교수준 평가는 유리수와 근삿값 단원과 일차함수 단원에서 총 8가지 인지영역 하위요소로 가장 다양하게 나타났다. 닮은 도형의 성질 단원은 총 5가지로 가장 적게 나타났다. 다섯째, 중학교 2학년 교과서 10개의 대단원을 중심으로 살펴본 인지영역 하위요소의 평균빈도수는 알기 영역 1.4개, 적용하기 영역 2.1개, 추론하기 영역은 2.8개, 총 6.4개로 나타났다. 본 연구의 결과를 통해 다음과 같은 결론 및 시사점을 내릴 수 있다. 첫째, 국제수준 평가인 TIMSS 2011 공개문항은 학교수준 평가에서 보다 더 다양한 인지영역 하위요소를 평가하고 있음을 확인하였다. 또한, 국제수준 평가는 적용하기 영역에서 학교수준 평가는 추론하기 영역에서 더 다양한 인지영역 하위요소를 평가하고 있음을 진단할 수 있었다. 둘째, 학교수준 평가는 알기 영역에 해당하는 문항이 적게 나타났는데 기초수준학생의 성취도 진단을 위해서 알기 영역의 문항비율을 상향시킬 필요가 있다. 셋째, 학교수준 평가는 인식하기, 인출하기, 측정하기, 실행하기에 해당하는 문항의 출제를 고려할 필요가 있다. 넷째, 학교수준 평가문항은 여러 단원에서 분류/정렬하기, 표현하기, 일반화/특수화하기, 정당화하기에 해당하는 문항을 보강할 필요가 있다. 다섯째, 닮은 도형의 성질 단원에서는 총 5가지의 인지영역 하위요소만을 다루고 있으므로 다양한 인지영역 하위요소에 해당하는 문항을 보강할 필요가 있다. 본 연구를 바탕으로 다음과 같이 후속 연구를 제언하고자 한다. 첫째, 학교수준 평가에서 좀 더 다양한 학년의 평가문항을 수집하여 학년 간 특징이 나타는지에 대한 연구를 제언한다. 둘째, 국제수준 평가문항과 학교수준 평가문항 중에 내용영역, 인지영역, 인지영역 하위요소가 일치하는 예시문항을 선정하여 비교분석하는 연구를 제언한다. 셋째, 학교수준 평가에서 분석되지 않은 인식하기, 인출하기, 측정하기, 실행하기에 해당하는 예시문항을 개발하는 연구를 제언한다. 넷째, 인지영역 하위요소를 분류할 때 참여했던 코더들 간에 다르게 분석된 문항은 어떤 문항인지, 또 어떻게 다르게 나타났는지, 다르게 나타나는 원인이 무엇이지에 대한 질적 분석연구를 제언한다. 다섯째, 서울에 소재한 학교의 학교수준 평가문항 뿐 만 아니라 다른 시도교육청소속 문항분석을 통해 지역별 평가문항의 차이점이나 특징을 연구할 것을 제언한다.