2000∼2003학년도 초·중등 교원 임용고사 교육평가 문항의 내용분석 및 측정학적 분석

Abstract

Education is an indispensable condition necessary for national development and failure in education will influence all over the nation. Teachers are key characters to success or failure of education. Playing such important roll proper training such as Education Policy and Teacher Training should be executed to develope the quality and the ability of teachers. Further more, rational management on quality of teachers by selecting highly qualified teaching staff or developing the quality of current active teachers should be constituted. Continues study and effort to improve Teacher's appointment test, one of the rational management methods, is going on. To select highly qualified teachers the appointment test must be reliable, valid and highly distinct. Conclusively teacher appointment test should be with the ability to distinguish highly qualified teachers and must have the quality and quantity analysis of each item, for the questions presented, for reliable questions. The currently carried out Teacher appointment test consists 60 multiple choice questions on Pedagogy in written exam, 30 as the perfect score. Also, the Pedagogy test is composed with various specialized fields of study. From this research, I would like to verify the items on educational evaluation, one field of pedagogy. Around five to six items are presented in the exam from educational evaluation field and these questions must do their job as a reliable item. This research shows a study and grope for practical application scheme for the validated and reliable items on educational evaluation given in the Elementary, Secondary school teacher's appointment test from the year 2000 till 2003. 232 personal's answer to 48 questions given on the pedagogy test concerning educational evaluation for the last 4 years are they data used in this research. Using the quality and quantity analysis to test the validity of the items presented on Elementary, Secondary school teacher's appointment test from 2000 to 2003, this research compares the high valid questions with the low ones. First by analyzing the items on educational evaluation by subject, then a descriptive study by presented year, subject analysis by content and question trend, and on the base of content validity of items and item characteristics examined the validity of test tool. Also, analyzed item discrimination by CTT and IRT, item difficulty and the asymptotic probility. After testing the validity of educational evaluation items as stated above the results are as follow. On the ratio of pedagogy subject items both elementary and secondary school teacher's appointment test show a high mark on educational curriculum, educational administration and law, history of education also educational philosophy, and educational psychology. Inspecting the ratio of presented question on educational evaluation on the pedagogy test elementary and secondary school teacher's appointment test show an average of six question the subject which is about 10% of the whole exam. Looking at the number of educational evaluation items on the exam by presented year on the table of specifications many items require 'comprehension'. The number of items concerning the subject by content on educational evaluation was different between the elementary and secondary school teacher's appointment test, however, more effort to deal with the whole content must be shown rather then focusing on a particular content. On the matter of subject validity and item quality analysis many questions' subject validity was relatively on the lever of satisfaction. Item quality analysis was executed for all 48 education evaluation questions except one with argue of answer. The average discrimination level was low according to CTT, but scored appropriate on IRT. Average difficulty came out easy on both CTT and IRT. Average presumption was also relatively low. The information acquired through verifying the quality of educational evaluation will contribute to many education situations. Additional studies should be expanded to the other sections of Teacher appointment test. It is needed to grope for more proper methods through the comparison between different methods.

;교육은 국가발전의 필수적 요건으로서 교육의 실패는 국가전체로 파급효과를 미친다. 특히 교육을 책임지고 있는 교사는 교육의 성패를 좌우하는 핵심적인 역할로 자질, 능력 면에서 우수한 교사의 역할을 하도록 교육정책, 교원정책이 이루어져야 한다. 그러므로 우수 교원의 선발이나 현직 교원의 자질 향상 등을 위한 합리적인 통제는 반드시 이루어져야 할 것이다. 합리적인 통제의 방법의 하나인 교원 임용고사는 우수 교원 선발을 목적으로 하는데, 우수 교원을 선발하기 위해서는 기본적으로 임용고사가 타당하고 신뢰로운 문항으로 구성되어야 하고 출제 문항에 대한 전문적인 검토와 문항분석이 필요하다. 현재 시행되고 있는 초·중등임용고사의 1차 시험과목은 교육학 시험과 전공에 대한 필기시험으로 구성되며, 교육학 시험은 총 객관식 60문항으로 30점 배점으로 출제된다. 또한 교육학 시험은 교직의 분야별 전문적 지식을 측정하기 위해서 다양한 교육학 분야로 구성되어 있는데, 본 연구에서는 교육학 분야 중에서 교육평가 문항들을 질적·양적으로 분석해 보고자 한다. 본 연구는 2000년∼2003학년도까지 출제된 초·중등임용고사의 교육평가 문항들에 대한 전문적인 검토와 문항분석을 통해 교육평가 문항의 타당도와 신뢰도 문제를 제고해 보았다. 이 연구를 위해 사용된 자료는 2000∼2003학년도까지 지난 4년간 실시된 초·중등 임용고사에서 실시된 교육학 시험에서의 교육평가 문항 총 48문항에 대한 임용고사의 잠정적 수험생 232명의 응답이다. 이 연구에서는 교육학 및 교육평가 문항의 내용분석과 측정학적 분석을 이용하여 2000∼2003학년도까지 출제된 초·중등 임용고사의 교육평가 문항들을 질적·양적으로 분석하였다. 우선 교육학 및 교육평가 문항들의 출제 연도별, 내용영역별 출제경향 분석을 하였으며 문항의 측정학적 분석을 위해 내용영역에 따른 교육평가 문항들을 교육목표에 따라 분류하고 교육평가 전문가 7명이 문항별 내용타당도를 검증하고 내적일관성 신뢰도와 문항반응이론에 의한 검사정보함수의 추정을 근거로 검사 도구에 대한 고전검사이론과 문항반응이론에 의한 문항 특성(문항의 변별도, 난이도, 추측도)분석을 실시하였다. 그리고 문항의 측정학적 분석결과를 종합하여 문항 세부분석을 통해 2000∼2003학년도까지 출제된 교육평가 문항들의 문제점을 살펴보았다. 마지막으로 피험자의 대학관련 특성에 따른 검사결과의 차이를 비교해보았다. 교육학 및 교육평가 문항들의 내용분석 결과를 보면, 각 교육학 분야별 문항 비율의 경우 초·중등 교원 임용고사 모두 '교육과정', '교육 행정 및 법규, '교육사 및 철학', '교육심리' 문항이 주로 많이 출제되었다. 교육학 시험에서 교육평가 문항 수와 비율을 살펴보면 초·중등 교원 임용고사의 교육평가 문항은 각각 평균 6문항정도가 출제되었으며, 이는 전체 교육학 시험의 10%를 차지하는 문항 비율이다. 교육평가 문항의 내용영역별 문항 수를 살펴보면, 초등의 경우 '평가도구제작' 영역과 '연구방법' 영역에서 꾸준히 출제되었으나 중등에서는 그 출제비율이 낮았으며, 중등의 경우 '검사이론에 따른 문항분석', '수행평가와 최근동향', '교육통계' 내용영역에서는 초등에 비해 높은 출제 비율을 나타냈다. 교육평가 문항의 측정학적 분석 결과를 보면, 내용영역에 따른 교육평가 문항의 목표분류에서 대부분의 내용영역이 '이해력'을 요구하는 것으로 나타났다. 그러나 '검사이론에 따른 문항분석', '검사점수해석 및 보고' 영역에서는 '적용력'과 '분석력'을 요구하는 문항이 많이 출제되었다. 내용타당도와 문항특성분석의 결과를 보면, 내용타당도의 경우에 많은 문항들의 '교육과정과의 적합성'과 '교사업무와의 관련성'에 대한 내용타당도는 높은 것으로 나타났으며, '오답지의 매력도'에 대한 내용타당도는 낮은 것으로 분석되었다. 문항특성분석의 경우 총 교육평가문항 48개의 문항 중에서 정답시비가 있었던 한 개의 문항을 제외하여 47개의 문항에 대한 특성분석을 실시하였다. 고전검사이론에 의하여 분석된 검사 전체의 평균 변별도는 낮은 것으로 나타났으나 문항반응이론에 의한 변별도는 적절한 것으로 분석되었다. 평균 난이도에 대해서는 모든 문항들이 비교적 쉬운 수준으로 나타났다. 평균 추측도는 비교적 낮은 수준이었다. 문항 세부분석에서는 문항의 문제점으로 정답의 부적절성에 의한 정답시비, 유사 문항의 반복 출제, 매력적이지 않은 오답지의 구성, 문제에 정답을 암시하는 표현, 교육평가 용어 선택의 부적절성 등의 문제점들이 지적되었다. 대학관련 특성에 따른 검사결과의 차이 분석에서는 수강과목에 따른 차이가 유의한 것을 알 수 있었는데 '교육평가' 수업을 수강한 수험생이 '교육과정 및 평가' 수업을 수강한 수험생보다 유리한 것으로 나타났다. 이 연구는 2000∼2003학년도까지 교원임용고사에서의 교육평가문항에 대한 정보만을 제공하고 있다. 그러므로 실질적인 활용을 위해서는 교육평가 영역만이 아니라 다른 영역에서도 확장된 연구가 이루어져야 하겠다.