TIMSS 2011 수학 성취 결과에 나타난 우리나라 중학교 2학년 학생들의 성취수준별 특성 연구

Abstract

국가수준에서 학생들의 성취수준을 진단하는 것은 학생들을 위한 교육정책을 결정하고 시행하는 데 많은 도움을 주기에 우리나라는 2009년부터 표본조사였던 국가수준학업성취도평가를 전수조사로 확대하여 실시하고 있다. 세계 많은 국가들 또한 자국 학생들의 교육적 성취도를 평가하기 위해 국가수준에서 성취도 평가를 시행하고 있으며 나아가 국제수준의 성취도 비교 연구에 참여함으로써 세계 여러 나라와 교육성과를 비교하고 자국의 교육 변화 추이를 살펴보고 있다. 우리나라도 성취도 국제연구에 참여하고 있으며 이 중 대표적인 것이 IEA에서 주관하는 TIMSS이다. 우리나라의 중학교 2학년 학생들의 경우 TIMSS 2011에서 성취도 1위를 차지하며 우수한 수학성취를 보이는 국가로 자리매김하였다. 그러나 우리나라의 경우 TIMSS 성취기준에서 제시하고 있는 수월 및 우수수준에 해당하는 학생들의 비율이 높아 성취특성을 수준별로 나누지 않고 분석할 경우 보통 및 기초수준 학생들의 성취특성을 잘 드러나지 않을 가능성이 있다. 따라서 TIMSS 평가 결과를 토대로 전체 학생들을 위한 교육적 시사점을 찾기 위해서는 각 성취수준에 해당하는 학생들에 대한 심도 깊은 분석이 필요하다. 뿐만 아니라 수학 성취특성을 성취수준별로 분석하는 것은 국가 수준에서 이루어지는 수준별 수업, 수월성 교육, 기초학력 보장 등 교육적, 정책적 효과성을 제고할 수 있게 한다(김수진 외, 2013a). 우리나라에서 TIMSS의 결과를 토대로 문항분석연구, 교육과정을 비교연구, 배경변인 연구, 성취도 국제 비교연구 등이 연구가 진행되어 왔다. 한편 TIMSS의 자료를 성취수준별, 내용영역 및 인지영역별로 분석한 연구는 IEA에서 국가연구센터로 지정된 한국교육과정평가원의 보고서(김수진 외, 2013a)가 있으며 그 외에는 많지 않은 실정이다. 본 연구는 TIMSS 2011에 나타난 우리나라 중학교 2학년 학생들의 수학성취 자료를 분석함으로써 우리나라 학생들의 성취특성을 성취수준별로 파악하여 향후 수학교육현장에서 학생의 성취수준에 맞는 교수·학습에 도움을 주고자 하였다. 이와 같은 관점에서 다음과 같은 연구문제를 설정하였다. 1. TIMSS 2011의 결과에 나타난 우리나라 학생들의 수학 성취수준별 내용 및 인지영역 점수의 상관관계는 어떠한가? 1-1. TIIMSS 2011에 나타난 성취수준별 내용영역 점수 간의 상관관계는 어떠한가? 1-2. TIIMSS 2011에 나타난 성취수준별 인지영역 점수 간의 상관관계는 어떠한가? 1-3. TIMSS 2011 참여 학생들의 내용 및 인지영역 점수 사이의 상관관계는 성취수준별로 어떻게 나타나는가? 2. TIMSS 2011 내용 및 인지영역별 문항에서 우리나라 학생들의 숙달문항은 성취수준에 따라 어떻게 나타나는가? 2-1. TIMSS 2011 내용영역별 문항에서 우리나라 학생들의 숙달문항은 성취수준에 따라 어떻게 나타나는가? 2-2. TIMSS 2011 인지영역별 문항에서 우리나라 학생들의 숙달문항은 성취수준에 따라 어떻게 나타나는가? 3. TIMSS 2011 문항에 대한 우리나라 학생들의 성취수준별 오답특성은 어떠한가? 3-1. TIMSS 2011의 선다형 문항에서 성취수준 간 오답일치도는 어떻게 나타나는가? 3-2. TIMSS 2011의 구성형 문항에서 성취수준별 예상오답은 어떻게 나타나는가? 이와 같은 연구문제를 해결하기에 앞서 TIMSS의 성취수준인 수월수준, 우수수준, 보통수준, 기초수준과 기초미달수준을 포함한 5개 성취수준을 본 연구의 성취수준으로 설정하였다. TIMSS에 참여한 우리나라 5천여 명의 수학 성취 자료를 수집하였으며 IEA IDB 분석기를 통해 연구문제별로 참여 학생들의 자료가 우리나라 학생 모두를 대표할 수 있도록 하였다. 연구문제 1에서는 성취수준별로 내용 및 인지영역 점수 간 상관분석을 하였고 연구문제2에서는 학생들의 내용 및 인지영역에 대한 숙달여부를 성취수준별로 알아보기 위해 숙달문항을 선정하고 비교분석하였다. 연구문제 3에서는 오답특성을 알아보고자 선다형 문항에 대해서는 성취수준 간 오답일치도를, 구성형 문항에 대해서는 예상오답의 비율을 성취수준별로 비교분석하였다. 이와 같은 과정을 거쳐 분석한 결과를 연구문제별로 요약하면 다음과 같다. 첫째, 내용영역 점수 사이의 상관분석에서 수월수준을 제외한 나머지 성취수준들은 0.60~0.74의 상관계수를 나타내며 강한 양의 상관을 나타내고 있었으며 수월수준은 대부분의 상관계수가 0.75이상인 매우 강한 양의 상관을 나타내고 있었다. 기초미달수준의 경우 내용영역 사이의 상관관계 중 수-자료와 가능성 영역의 상관이 특히 높았는데 이는 기초미달 수준 내 상관성 중에서도 가장 높을 뿐만 아니라 수월수준을 제외한 다른 성취수준의 상관성보다 높은 수치인 것으로 나타났다. 둘째, 모든 성취수준에서 알기-적용하기영역 사이의 상관이 가장 높았고 알기-추론하기영역의 상관이 가장 낮았다. 적용하기영역의 경우 다른 인지영역 점수와 상관계수 0.75이상인 매우 강한 양의 상관관계를 갖는 것으로 나타났다. 셋째, 성취도 점수의 상관성이 가장 높게 나타난 내용영역과 인지영역 사이를 성취수준별로 살펴본 결과 기초미달수준의 경우 수영역과 알기 및 적용하기영역, 기초수준, 보통수준, 우수수준의 경우 대수영역과 알기영역, 수월수준의 경우 대수영역과 적용하기영역에서 상관성이 가장 높았다. 성취도 점수의 상관성이 가장 낮게 나타난 내용영역과 인지영역 사이는 기초미달수준과 기초수준의 경우 대수영역과 추론하기영역, 보통수준의 경우 자료와 가능성영역과 추론하기영역, 우수수준과 수월수준은 자료와 가능성영역과 알기영역에서 상관성이 가장 낮았다. 넷째, 성취수준별 숙달문항 비율이 가장 높게 나타난 경우를 살펴본 결과 수월수준은 대수영역(100.0%)과 자료와 가능성영역의 선다형(100.0%)이었으며 우수수준은 수영역의 선다형(74.2%), 보통수준은 자료와 가능성영역의 구성형(44.4%), 기초수준과 기초미달수준은 자료와 가능성영역의 선다형(각 20.0%, 5.6%)인 것으로 나타났다. 반면 숙달문항 비율이 가장 낮게 나타난 경우는 수월수준의 경우 자료와 가능성영역의 구성형(72.2%)이었으며 우수수준과 보통수준은 대수영역의 구성형(각 48.5%, 6.1%)인 것으로 나타났다. 기초수준의 경우 대수영역과 기하영역의 숙달문항이 나타나지 않았으며 기초미달수준은 기하영역의 선다형, 대수영역의 선다형, 수영역의 구성형(각 0.0%)에서 숙달문항이 나타나지 않았다. 모든 성취수준에서 기하영역의 경우 선다형보다 구성형 문항에 대한 숙달문항의 비율이 높게 나타났으나 다른 내용영역은 모두 선다형의 비율이 높게 나타났다. 다섯째, 성취수준별 인지영역의 숙달문항 비율이 가장 높은 경우를 살펴보면 수월수준의 경우 적용하기영역의 선다형(100%), 우수수준, 보통수준, 기초미달수준의 경우 알기영역의 선다형(각 83.0%, 35.8%, 3.8%), 기초수준은 알기영역의 구성형(13.8%)인 것으로 나타났다. 성취수준별 숙달문항 비율이 가장 낮았던 인지영역은 수월수준의 경우 추론하기의 선다형(83.3%), 우수수준은 추론하기의 구성형(38.2%)였다. 보통수준과 기초수준의 경우 추론하기의 선다형에서 숙달문항이 나타나지 않아 그 비율이 0%였으며 기초미달수준은 적용하기영역과 추론하기영역의 선다형에서 그 비율이 0%로 가장 낮게 나타났다. 여섯째, 대수영역의 오답 일치문항 비율의 분포는 32.4~59.5%로 모든 성취수준에서 인접한 성취수준과의 오답일치도가 높게 나타났으며 보통-수월수준 사이의 오답일치도를 제외하면 기초, 보통, 우수, 수월수준 사이의 오답일치도 또한 모두 높게 나타나 기초미달수준 외의 성취수준 간에는 오답유형 차이가 작은 것으로 나타났다. 추론하기영역의 경우 인접 성취수준에서 기초-보통, 우수-수월수준 사이의 오답일치도만 높게 나타났으며 보통-우수수준의 오답일치도는 매우 낮게 나타났다. 일곱째, 내용영역에 따른 오답 내 예상오답의 비율은 성취수준이 높아질수록 함께 높아지는 경향성을 보였으나 자료와 가능성영역은 그렇지 않았다. 자료와 가능성영역의 경우 다른 영역과 비교하여 기초, 보통, 우수, 수월수준 사이의 차이가 작았으며 특히 보통수준과 우수수준은 그 비율이 수월수준보다 높게 나타났다. 수월수준을 제외한 모든 성취수준에서 자료와 가능성영역에 대한 예상오답의 비율이 높았으며 수월수준은 기하영역에서 가장 높았다. 그러나 대수영역은 모든 성취수준에서 오답 내 예상오답의 비율이 가장 낮은 내용영역이었다. 이와 같은 결과를 토대로 내린 결론과 제언은 다음과 같다. 연구문제 1의 결과 수영역 점수와 자료와 가능성영역 점수 사이의 상관성에서 기초미달수준의 경우 수월수준을 제외한 다른 성취수준보다 높은 상관성을 갖고 있는 것으로 나타났다. 이를 통해 기초미달수준의 학생들의 성취도 향상을 위한 교수·학습적 방안으로 수영역과 자료와 가능성영역의 연계를 고려해 볼 수 있을 것이다. 연구문제 2의 결과 내용영역에 따른 숙달문항의 분석을 통해 모든 내용영역에서 우수수준과 보통수준의 차이가 가장 크게 나타났으며 추론하기영역을 제외한 인지영역에서도 우수수준과 보통수준의 차이가 가장 크게 나타났다. 우리나라의 경우 수월 및 우수수준에 해당하는 학생들은 전체의 77%에 해당하며 이 비율은 TIMSS가 시행되는 과정에서 지속적으로 상승해 왔다. 이와 같은 경향이 지속되기 위해서는 보통수준과 우수수준 사이의 숙달된 정도 차이를 극복해야 하며 내용영역 중 특히 큰 차이를 보였던 수영역의 학습에 주의를 기울일 필요가 있다. 연구문제 3의 오답일치도 분석 결과 추론하기영역의 경우 수월수준과 우수수준, 보통수준과 기초수준의 오답일치도는 높은 반면 우수수준과 보통수준의 오답일치도는 매우 낮게 나타났다. 이는 연구문제 2의 숙달문항 비율 비교분석에서 우수수준과 보통수준의 숙달문항 비율차이가 크게 나타난 것과 같은 맥락으로 볼 수 있으며, 이를 통해 우수수준과 보통수준의 학생들의 성취 차이가 크게 나타나는 것을 재확인할 수 있었다. 따라서 보통수준과 우수수준 학생들의 성취 차이를 보다 다양한 측면에서 심도 있는 연구가 필요한 것으로 보인다. 한편, 김수진 외(2013a)의 연구에서 모든 성취수준의 학생들은 구성형 문항보다 선다형 문항에서 높은 정답률을 보이고 있음을 밝힌 바 있다. 그러나 본 연구의 결과 숙달문항의 비율로 문항유형별 성취도를 분석한 결과 구성형 문항에 대한 성취가 더 높은 경우가 존재하였다. 즉, 구성형 문항에 대한 정답률 평균은 선다형 문항보다 낮을 수 있으나 숙달의 준거를 선다형과 구성형에 각 74%, 65%를 설정한 후 분석한 결과 구성형 문항에 대한 숙달문항 비율이 높은 경우도 많이 나타났다. 특히, 기하영역은 기초미달수준을 제외한 모든 성취수준에서 구성형 문항에 대한 숙달비율이 높게 나타나는 특성을 찾을 수 있었다. 이와 같이 학생들의 성취특성을 분석할 시 정답률에만 근거하여 분석하는 것이 아닌 숙달문항 비율을 함께 살펴보는 등의 다양한 방법으로 성취결과를 해석하였다는 점에서 본 연구의 시사점을 찾아볼 수 있다. 본 연구는 그동안 선행되었던 TIMSS를 대상으로 한 연구에서 많이 다루어지지 않았던 학생들의 성취수준별 수학성취를 분석하였다는 의의를 갖는다. 또한 본 연구의 결과에 나타난 성취수준별 특성은 우리나라 전체 학생의 특성을 대표할 수 있으므로 향후 수학교육 현장에서 학생의 성취수준에 맞는 교수·학습 개선 방향 설정에 도움을 줄 수 있을 것으로 기대한다.;In the national level, it is very helpful to make decision and implement educational policy for students by evaluating benchmarks of the students' academic achievement; since 2009, our country has performed nationwide academic achievement test, which has been sample survey, as complete enumeration to the extent. To evaluate the academic achievement of the students of one's countries, many countries in the world perform worldwide academic achievement test and participate in comparative study for worldwide achievement, comparing the educational performance with other countries in the world and examining the trend of educational change of the one's country. Our country also participates in the worldwide survey for academic achievement; one of the representative studies is TIMSS (The Trends in International Mathematics and Science Study) supervised by IEA (International Association for the Evaluation of Educational Achievement). The evaluation plays key role to understand and diagnose the characteristics of student's academic achievement and the characteristics are effective to be analyzed by the benchmarks of achievement. Also, the characteristics of academic achievement analyzed by the benchmarks of achievement provide the opportunity to raise the effectiveness of such as classes according to the benchmarks, educations with advancement, educational policies to secure the basic academic standards, and etc. (Soo-jin Kim et al., 2013). Therefore, this study was to evaluate the characteristics of the student's academic achievement according to the benchmarks of academic achievement by TIMSS 2011, which was the worldwide evaluation survey in where 5,000 junior middle school students participated. Accordingly, the research problems were set up as follows: 1. How is the correlations between the scores of the students participated in TIMSS 2011 according to the academic achievement benchmarks in content and cognitive domains? 1-1. How is the correlations between the scores of the students participated in TIMSS 2011 according to the academic achievement benchmarks in the content domain? 1-2. How is the correlations between the scores of the students participated in TIMSS 2011 according to the academic achievement benchmarks in the cognitive domain? 1-3. How is the correlations between the scores of the students participated in TIMSS 2011 in the content and cognitive domains according to the benchmark of achievement? 2. What are the questions with proficiency according to the benchmarks of the students' academic achievement in our country as observed in the questions of content and cognitive domains of TIMSS 2011? 2-1. What are the questions with proficiency according to the benchmarks of the students' academic achievement in our country as observed in the questions of content domain of TIMSS 2011? 2-2. What are the questions with proficiency according to the benchmarks of the students' academic achievement in our country as observed in the questions of cognitive domain of TIMSS 2011? 3. How is the distribution of incorrect answers for the questions according to the academic achievement benchmark in TIMSS 2011? 3-1. How is the rate of matching incorrect answers for multiple-choice questions according to the academic achievement in TIMSS 2011? 3-2. How is the rate of incorrect answers pre-defined by constructed questions according to the academic achievement in TIMSS 2011? Correlation analysis between the achieved scores was performed to find the correlations between the achievement rates in the content and cognitive domains according to the academic achievement benchmarks (research problem 1), comparative analysis was performed for the questions with proficiency to examine the proficiency of students in the content and cognitive domains according to the academic achievement benchmark (research problem 2), and the rates of matching incorrect answers for multiple-choice questions were investigated to find the characteristics of immature domains on the contrary and the rates of 'pre-defined incorrect answers' by TIMSS with educational implication and 'the other incorrect answers' for the constructed questions were examined according to the academic achievement benchmark (research problem 3). The summery of analysis result was shown as below: First, the advanced international benchmark showed relatively high correlations between the scores of domains in comparison with other achievement benchmarks. The correlations of the achievement in relation to the academic content in the achievement benchmark became significantly higher as the achievement benchmarks were increased except the correlations with the domain of data and change; but the correlations with regard to the cognitive domain which specified the behavioral characteristics of the academic learning, the scores in the cognitive domain was not tended to be increased according to increase of achievement benchmarks except the advanced international benchmarks. Second, the rates of questions with proficiency between the intermediate and high international benchmarks in the whole content domain was the most significantly different and the rates of questions with proficiency in the knowing and applying domains among the cognitive domains were the most significantly different in the intermediate and the advanced international benchmarks. Third, the difference in the rates of questions with proficiency s according to the achievement benchmarks were the most significant in the algebra domain, which also showed comparatively low rate of correct answers and significant difference of the rate of correct answers between the achievement benchmarks. However, according to the analysis of rate of matching incorrect answers between the achievement benchmarks, the rate of matching incorrect answers for multiple-choice questions was tended to be high in most of achievement benchmarks. That is, the deviation of the student's achievement was large and the misconceptions of the students were similar in the algebra domain. On the other hand, in the domain of data and change, the differences of proficiency between the achievement benchmarks were small in analysis of the questions with proficiency but the rate of matching incorrect answers was also low. That is, the appearance of the students' misconceptions in the domain of data and change was different and it showed contrary tendency in the algebra domain. Fourth, regarding the low and intermediate international benchmarks, the rate of matching incorrect answers was high in the whole content and cognitive domains. And the rates of matching incorrect answers between the high and advanced international benchmarks were also high. On the contrary, in the case of intermediate and high international benchmarks, the rates of matching incorrect answers were relatively low in comparison with the low, intermediate, high, and advanced international benchmarks except the applying domain; particularly the rate of matching incorrect answers was very low in the reasoning domain. Fifth, the rate of pre-defined incorrect answers among the incorrect answers according to the content domain was tended to become higher as the achievement benchmarks became higher, but it was not the same in the domain of data and change. In the domain of data and change, the difference between the low, intermediate, high, and advanced international benchmarks was small and particularly the rates in the intermediate and high international benchmarks were very high. In the algebra domain, the rate of pre-defined incorrect answers among the incorrect answers in all of the achievement benchmarks was the lowest in the content domain. Sixth, the rates of defined incorrect answers were tended to become higher as the achievement benchmarks became higher in all of the cognitive domains on the contrary to the content domains, and the rate of defined incorrect answers was the lowest in the knowing domain regardless of the achievement benchmarks. That is, the rates of incorrect answers with educational meaning among the incorrect answers became higher as the achievement benchmarks became higher in terms of the leaning behavior. The result of this study would suggest the direction of teaching·leaning methods in accordance with the achievement benchmarks of the students in the future education field by providing the information regarding the correlations between the achievement scores, difference between the level of proficiency, appearance of the incorrect answers, and etc. in the content and cognitive domains of each achievement benchmark. However, in the achievement benchmarks in TIMSS, used as the target of analysis in this study, the rates of advanced and high international benchmarks of our country's students were higher than other countries. Thus, as the follow-up study, it was suggested to analyze the students with advanced and high international benchmarks to the extent with more segmentation.