고등학교 수학과 학교수준 평가문항 인지영역 분석 연구

Abstract

2007 개정 수학과 교육과정에서는‘수학 학습의 평가는 학생들의 인지적 영역과 정의적 영역에 대한 유용한 정보를 제공하여 학생 개개인의 수학 학습과 전인적인 성장을 돕고 교사의 교수 활동과 수업 방법을 개선하는 데 활용한다.’고 제시하며 평가를 통해 학생에 대한 정보를 얻을 수 있다는 측면을 강조한다. 수학 학습에서의 평가는 학생의 인지적 영역에 대한 유용한 정보 제공은 물론 교사의 수업 방법 개선에도 기여할 수 있다(교육인적자원부, 2009). 교수·학습에 도움이 되는 평가가 이루어지려면 학습자의 다양한 인지적 영역을 측정하는 평가가 이루어져야 한다. 또한, 최근‘수학적 지식과 기능을 바탕으로 창의적으로 사고하는 능력’이 평가항목에 등장(교육과학기술부, 2011)한 것으로 볼 때, 학생들의 추론능력, 문제해결력 등의 고등사고능력의 평가가 중요해지고 있음을 알 수 있다. 미국의 인지영역 평가틀, 국제평가의 인지영역 평가틀, 우리나라의 대학수학능력시험과 학업성취도의 인지영역 평가틀에도 추론하기 능력이 강조되고 있음을 알 수 있다. 이러한 능력은 미래에 과학, 기술, 공학, 수학 분야에 진출하게 될 고등학교 자연계열 학생들에게 중요한 수학적 능력이다. 이러한 평가관의 변화는 다양한 인지영역을 평가할 수 있는 문항의 개발을 요구한다. 학교현장에서 가장 많은 비율로 이루어지고 있는 평가인 지필평가를 통해 현재 시행되고 있는 평가가 다양한 인지영역을 평가하고 있는지에 대해 알아볼 필요가 있다. 따라서 본 연구에서는 변화하고 있는 평가에 대한 관점을 바탕으로 학교현장에서 지필평가를 통해 학생들의 다양한 인지 능력을 확인하려는 평가가 이루어지는지 알아볼 것이다. 그리고 최근 중요시되고 있는 추론하기 영역의 평가는 어떠한 분포로 이루어지고 있는지 알아볼 것이다. 본 연구의 목적은 학교수준 지필평가 문항을 분석하여 교사들에게 학교수준 평가문항이 평가하고 있는 인지영역의 분포와 그 중에서도 추론하기 영역의 분포에 대한 정보를 제공하는 것이다. 또한, 지필평가 문항 중 서술형 문항을 분석해 봄으로써 서술형 문항은 학습자의 어떠한 인지영역을 평가하고 있는지에 대해서도 알아볼 것이다. 이를 위한 연구 문제는 다음과 같다. 1. TIMSS Advanced 2015의 인지영역 분석틀로 지필평가 문항을 분석하였을 때, 내용영역별·학년별 인지영역 하위요소들은 어떻게 분포되어 있는가? 2. TIMSS Advanced 2015의 인지영역 분석틀로 지필평가 문항을 분석하였을 때, 추론하기 영역 하위요소들은 어떻게 분포되어 있는가? 2-1. TIMSS Advanced 2015의 인지영역 분석틀로 지필평가 문항 중 서술형 문항을 분석하였을 때, 추론하기 영역 하위요소들은 어떻게 분포되어 있는가? 연구문제를 해결하기 위해 서울시 소재 인문계 고등학교 3곳, 경기도 소재 인문계 고등학교 4곳에서 2014년에 시행한 1학년, 2·3학년 자연계열 수학과 1차·2차 지필평가 문항지 104개(총 2047문항)를 선정하였다. 문항의 인지영역 및 인지영역의 하위요소를 분석하기 위해 공신력 있는 국제 학업성취도평가인 TIMSS-advanced 2015의 평가틀을 기반으로 한 분석틀을 이용하여 분석대상인 평가문항을 코드화하였다. 신뢰도를 위해 연구자를 포함한 3명의 수학교육 전문가가 인지영역에 대한 코딩을 하여 일치도를 확인했으며 코딩 결과가 일치하지 않은 문항은 일치할 때까지 반복적으로 협의 후 재코딩 하는 과정을 거쳤다. 본 연구는 서울시 및 경기도 소재 인문계 고등학교 7곳의 1학년, 2·3학년 자연계열 수학과 학교수준 지필평가 문항의 인지영역, 인지영역 하위요소를 분석하여 다음과 같은 결과를 얻었다. 연구문제 1, 2의 해결을 위해 학교수준 평가문항의 인지영역을 분석한 결과 적용하기 영역을 평가하는 문항이 971문항(47%)으로 가장 높은 비율로 나타났다. 문항의 인지영역 하위요소로는 알기 영역에서는 회상하기가 186문항(33%), 적용하기 영역에서는 실행하기가 501문항(52%), 추론하기 영역에서는 통합/종합하기가 206문항(40%)으로 가장 높은 비율로 나타났다. 알기 영역의 인지영역에서는 회상하기 186문항(33%), 인식하기 63문항(11%), 계산하기 156문항(28%), 도출하기 152문항(27%)으로 나타났다. 가장 높은 출제비율을 보인 인지영역은 회상하기로, 알기 영역에서는 수학적 정의, 용어, 표기, 수의 성질, 기하학적 성질을 기억하는 인지적 능력을 가장 높은 비율로 평가하는 것으로 해석된다. 적용하기 영역에서는 알아내기 186문항(19%), 표현/모델링하기 284문항(29%), 실행하기 501문항(52%)으로 나타났다. 가장 높은 출제비율을 보인 인지영역은 실행하기로, 적용하기 영역에서는 문제의 해결을 위해 수학적 개념 또는 수학적 절차와 유사한 방법으로 전략을 수행하는 것을 평가하는 문항을 가장 많이 출제하고 있음을 알 수 있다. 평가문항을 내용영역별로 분류하였을 때, 대수 영역, 미적분 영역, 통계 영역, 기하 영역에서 모두 실행하기(A3) 영역을 평가하고자 하는 문항이 가장 많았다. 기하 영역에서는 추론하기 영역의 통합/종합하기 영역의 비율도 높게 나타나, 다른 영역에 비해 다양한 인지영역을 고르게 측정하려는 평가문항이 개발되었음을 알 수 있었다. 학년별로 문항의 인지영역 하위요소를 분류한 결과 실행하기 영역인 A3 영역이 가장 높은 비율을 나타내었다. 알기 영역의 출제비율을 보면 1학년에서 35%, 2학년에서 26%, 3학년에서 23%로 학년이 올라가면서 알기 영역의 출제비율은 줄어든다. 추론하기 영역의 출제비율을 보면 1학년 23%, 2학년 28%, 3학년 24%로 나타났다. 이를 통해 고등학교의 평가문항이 수학적 절차 또는 공식을 이용하여 제대로 실행하는지를 평가하는 문항을 가장 많이 출제하고 있음을 알 수 있다. 또한 고등수학능력을 측정할 수 있는 추론하기 영역의 비율이 상대적으로 적게 나타났다. 그 중에서도 일반화하기(R4), 정당화하기(R5)의 문항의 비율이 적게 나왔는데, 이것은 학습자의 사고과정을 평가하는 문항 개발의 필요성을 시사한다. 추론하기 영역에서는 분석하기 168문항(32%), 통합/종합하기 206문항(40%), 평가/결론내리기 95문항(18%), 일반화하기 10문항(2%), 정당화하기 39문항(8%)으로 나타났다. 가장 높은 출제비율을 보인 인지영역은 통합/종합하기로, 추론하기 영역에서는 문제를 해결하기 위해 필요한 지식의 요소들을 발견 또는 표현하고 여러 절차를 연결하는 인지 능력을 측정하기 위한 문항을 높은 비율로 출제하고 있음을 알 수 있다. 연구문제 2-1의 결과는 다음과 같다. 서술형 문항을 알기 영역, 적용하기 영역, 추론하기 영역으로 분류해볼 때, 대수 영역의 서술형 문항은 적용하기 영역에서 96문항(49%), 미적분 영역의 서술형 문항은 알기 영역에서 66문항(65%)으로 가장 많이 출제되고 있다. 기하 영역의 서술형 문항은 적용하기 영역에서 29문항(40%), 추론하기 영역에서 28문항(39%)으로 높은 출제비율로 나타났다. 통계 영역에서의 서술형 문항은 적용하기 영역에서만 43문항(100%) 출제되었다. 이와 같이 서술형 문항의 출제비율을 내용영역별로 분류하였을 때, 내용영역 특성에 따라 높은 비율로 출제되고 있는 인지영역 하위요소에 차이가 있음을 볼 수 있다. 또한 학년이 올라갈수록 적용하기 영역의 서술형 문항 비율이 높아지고 있다는 것을 알 수 있었다. 1·2학년의 서술형 문항에서는 모두 실행하기 영역(A3)에서 가장 높은 비율을 보였으며, 3학년의 서술형 문항에서는 실행하기 영역(A3)과 통합/종합하기(R2) 영역에서 상대적으로 비율이 높게 나타났다. 1학년 서술형 문항의 경우, 실행하기 영역(A3)에서 30문항(26%)으로 가장 높은 비율을 나타냈고 2학년 서술형 문항의 경우, 실행하기 영역(A3)에서 36문항(31%)으로 가장 높은 비율을 나타냈다. 3학년의 서술형 문항은 실행하기 영역(A3)에서 52문항(45%)으로 가장 높은 비율을 나타내며, 그 다음으로는 통합/종합하기 영역(R2)이 26문항(23%)으로 나타났다. 실행하기 영역은 문제를 해결하기 위해 수학적 개념 또는 절차와 유사한 방법을 수행하는 것을 평가하려는 것이고, 통합/종합하기 영역은 지식의 요소들 또는 문제해결의 절차를 연결하는 인지영역으로 여러 개념과 지식을 종합적으로 사고할 수 있는 인지적 능력을 평가하려는 것이다. 이것으로 보아 3학년의 서술형 평가에서는 이전에 배웠던 수학적 개념과 지식을 종합적으로 평가하려는 문항 개발이 다른 학년에 비해 더 많이 이루어지고 있음을 알 수 있다. 미적분 영역에서는 서술형 문항 총 101문항 중 계산하기 영역(K3)의 문항이 36문항(36%)으로 가장 높은 출제비율을 나타내고, 그 다음으로는 인식하기 영역(K2)의 문항이 22문항(22%)으로 많이 출제되었다. 미적분 영역에서 계산하기 영역의 서술형 문항에서 가장 높은 출제비율을 나타낸다는 것을 통해 미적분 영역에서 미적분을 통해 결과를 구하는 것뿐 아니라 그 계산 과정도 중요하게 다루고 있다는 점을 알 수 있다. 기하 영역에서는 통합/종합하기 영역(R2)의 문항이 18문항(25%)으로 가장 많이 출제되었고, 그 다음으로는 실행하기 영역(A3)문항이 15문항(21%) 출제되었다. 기하 영역에서는 다른 영역보다 서술형 문항 중 추론하기 영역(R1~R5)의 출제비율이 높다. 서술형 문항뿐 아니라 지필평가 문항 전체에 대한 분석에서도 기하 영역에서의 평가문항 출제 비율이 가장 높게 나타났다. 이러한 점에서 볼 때, 다른 영역에 비해 기하 영역에서 선택형 문항과 서술형 문항에서 모두 추론하기 영역의 문항 개발이 활발히 이루어진다는 것을 알 수 있다. 통계 영역의 서술형 문항은 알기 영역과 추론하기 영역에서는 출제되지 않았다. 통계 영역의 서술형 문항은 적용하기 영역 중 알아내기 영역(A1)에서 7문항(16%), 표현/모델링하기 영역(A2)에서 16문항(37%), 실행하기 영역(A3)에서 20문항(47%)이 출제되었다. 통계 영역에서는 서술형 문항이 적용하기 영역에서만 출제된 것으로 보아 실생활에 관련된 문제 상황을 수학적으로 모델링하는 과정, 수학적 절차와 유사한 방법으로 전략을 수행하는지에 대해 서술형 문항으로 평가하고자 하는 것으로 해석할 수 있다. 본 연구의 결과를 통해 학교수준 지필평가 문항 개발에 대한 다음과 같은 결론 및 시사점을 도출할 수 있다. 첫째, 다양한 인지영역을 평가할 수 있는 문항의 개발이 필요하다. 학교수준 지필평가 문항의 출제비율은 적용하기 영역에서 가장 높게 나타났으며 적용하기 영역 중 실행하기 영역에서 가장 많은 문항이 출제되었다. 하지만, 문제 해결을 위해 간단한 계산을 하는 것, 수학적 절차와 유사한 방법으로 전략을 수행하는 정형화된 문제를 풀 수 있는 능력을 보는 것만이 평가의 목표가 아니며 수학교육의 목표에도 부합되지 않는다. 오히려 알기 또는 적용하기의 인지영역을 기본으로 하여 더욱 창의적이고 고차원적인 수학적 사고를 할 수 있도록 해야 할 것이다. 둘째, 현재 고등학교 학교수준 지필평가 문항의 비율을 보면 고차원적인 능력의 기초가 되는 알기 영역에서의 문항 출제가 적게 이루어지고 있다. 수학에서 알기 영역에 해당하는 개념이나 지식의 학습은 중요하다. 따라서 알기 영역의 평가도 비중있게 다루어져야 한다. 또한, 추론하기 영역에서의 문항 출제가 고르게 이루어지고 있지 않아, 추론하기 영역의 여러 가지 특성을 균형있게 평가하는 데 어려움이 있다. 특히, 학교현장에서 수학적 추론의 교육이 제대로 이루어지지 못하는 실태에 대해 알아본 이종희 외(2002)의 연구에 따르면 추론에 대한 교사들의 인식이 부족하고 학생들의 학습태도 또한 추론지도에 장애물이 된다고 밝히고 있다. 교사들 중에는 추론의 정의에 대해서도 생소한 교사들이 있었고 그렇기 때문에 추론교육의 필요성을 인식하지 못한다는 것이다. 또한, 추론지도에 있어 학생들의 참여가 무엇보다 중요한데, 사교육에 의지하는 학생들은 기계적 절차 수행, 지식의 암기 위주의 학습을 하고 있다는 것이다. 이러한 학생들은 스스로 문제 터득하려는 자세, 참여하려는 의지가 부족하다. 추론의 지도에 이러한 어려움을 극복하기 위해서는 교육과정에서 ‘추론’이 학습목표가 되어 추론능력을 향상시킬 수 있도록 구성되어야 한다. 또한 추론영역을 평가할 수 있는 문항의 개발이 이루어져 학생들이 수학학습을 대하는 태도를 변화시켜야 한다. 학생들의 추론능력에 점수를 부여할 수 있는 평가기준도 필요하다. 최근 수학교육에서는 ‘추론하기’영역에 대한 평가를 중요시한다. 추론능력은 수학에서 뿐 아니라 우리가 살아가는 데 아주 중요한 능력이다. 추론하는 능력을 키울 수 있는 수업이 이루어지고, 그러한 추론능력을 제대로 평가해, 평가의 결과를 추론지도의 교수·학습에의 피드백 자료로 활용할 때 학생들의 추론능력의 향상을 기대할 수 있다. 셋째, 학생들이 수학 문제를 해결하는 과정이나 절차에 대한 정보를 얻을 수 있는 서술형 문항의 비율이 낮으며, 대부분의 서술형 문항은 학생들이 얼마나 수학적인 절차나 공식을 잘 사용할 수 있는지에 대한 적용하기 영역의 문제이다. 서술형 문항은 학습자가 사고하는 과정이나 인지적 능력에 대해 더 많은 정보를 제공하며 더 정확하게 평가할 수 있다(고상숙 외, 2012, 김래영 외, 2013, 노선숙 외, 2008). 내용영역별 문항 출제비율을 보면 대수 영역에서는 적용하기에서, 미적분 영역에서는 알기 영역에서 높게 나타났다. 이렇게 서술형 문항이 특정 인지영역에 치우쳐 출제된다면 서술형 문항은 학생의 사고과정이나 창의적 능력을 측정하기보다는 단순 지식을 알고 있는지, 공식을 외우고 있는지에 대해서만 정보를 제공하게 되는 의미 없는 서술형 문항이 될 수 있다. 따라서, 학습자의 사고 과정과 고등 수학적 사고를 평가할 수 있는 서술형 문항의 개발이 필요하다.;The purpose of this study is to suggest information to teachers on what cognitive domains are evaluated by school level evaluation questions and provide them with various cognitive domain questions through analysis of the school level paper examination questions. In particular, as the recent evaluation on the reasoning domain in mathematics education becomes important, this study also explored the evaluation on the reasoning domains in the American NAEP and NECAP evaluation frames, and PISA, TIMSS evaluation frames that are the international academic achievement evaluation, and our evaluation frame, and reviewed the meaning of reasoning suggested by many scholars. The analysis frame based on TIMSS-advanced 2015 evaluation frame as the international academic achievement evaluation with public confidence was utilized to code evaluation questions in order to analyze the cognitive domains of questions and the subfactors of the cognitive domains and the paper examination questions that are the analysis objects of this study were for the department of natural science of high school freshmen, sophomores and seniors. So as to solve the research problems, 104 questions (a total of 2047 questions) of the first and second paper examination questions for mathematics subject performed in 2014 at three academic high schools in Seoul and four in Gyeonggi-do were selected. As for the cognitive domains suggested by the evaluation frame, there are recalling, recognizing, computing and retrieving the knowing domain, and knowing, representing/modeling and implementing the applying domain, and as for the reasoning domains, there are analyzing, integrating/synthesizing, evaluating/drawing conclusions, generalizing and justifying, and in particular, it analyzed the distributions of the questions of each domain and, in particular the distribution of the questions to evaluate the subfactors of reasoning as well as the ratio of reasoning. Through the results of this study, following conclusions were drawn about the development of the school level paper examination questions. First, it is required to develop questions to evaluate diverse cognitive domains by grade and content area. The high school students in the department of natural science are expected to advance to university level studies in the fields of STEM (Science, Technology, Engineering, Mathematics) and specially be scientists and engineers in the future. Evaluating the thinking power of students variously through evaluation is significant in preparing for desirable teaching·learning. Accordingly, it is important to develop questions in order to make evaluation on diverse cognitive domains in the school level paper examination. Second, when the ratio of the current school level paper examination questions of high school is considered, questions in the knowing domain that becomes the foundation of high-dimensional ability are few. Learning notions or knowledge corresponding to the knowing domain in mathematics is important. Third, the ratio of descriptive questions from which students can acquire information on the processes or procedures to solve mathematics problems is low, and most descriptive questions are related to the applying domain about how students can use mathematical procedures or formulas. Descriptive questions are questions to know the thinking process of students that can not be seen in multiple-choice questions and to evaluate various abilities corresponding to the reasoning domain. Therefore, questions that can evaluate the reasoning ability of students through descriptive questions should be made actively.