2004~2009학년도 초·중등 교원임용시험 교육평가영역의 문항분석

Abstract

현재 우리나라 교원양성 및 임용 정책은 교원의 양적수급에만 기여하고, 교원의 전문적인 자질과 능력 신장에는 소흘하다는 지적을 많이 받고 있다. 또한 초․중등 교원이 되고자 희망하는 예비교사가 많아지면서 교원임용시험에 대한 관심이 높아졌고, 이에 따라 시험의 타당성이나 신뢰성 문제 등 임용시험의 질적 재고에 대한 요청이 늘어나고 있다. 교원임용시험은 교사를 선발하는 통로이자 과정이다. 따라서 교사의 질 관리 측면에서 타당성과 신뢰성 있는 문항이 출제되어야 하며, 이 시험을 준비하는 예비교사의 입장에서도 결과에 대해 이의 없이 받아들일 수 있는 공신력 있는 시험이 출제되기를 기대한다. 이에 따라 그동안 초․중등 교원임용시험에서 출제된 문항이 타당성과 신뢰성이 있는지에 대해 검증해 보고 좀 더 양질의 문항을 출제하기 위해 개선되어야 할 사항들을 논의해 볼 필요가 있다. 현재 시행하고 있는 교원임용시험의 1차 시험 과목은 교육학시험과 전공에 대한 필기시험이며, 모두 선다형 문항으로 출제된다. 또한 교육학시험은 교직의 분야별 전문 지식을 측정하기 위해 다양한 교육학 하위분야로 구성되어 있는데, 이 연구에서는 교사의 학생평가 전문성이 강조되는 흐름에 맞추어 교육학 하위분야 중에서 교육평가영역의 문항들을 분석해 보고자 한다. 본 연구는 2004~2009학년도 초․중등 교원임용시험에서 출제된 교육평가영역 문항이 타당성과 신뢰성이 있는지 알아보기 위해 질적․양적으로 분석한 연구이다. 이 연구에 사용된 자료는 2004~2009학년도까지 6년간 실시된 초․중등 교원임용시험의 교육학시험 중 교육평가영역 문항 총 68개이다. 먼저 이 문항에 대한 내용분석을 하고 그 중 동형문항 8개를 제외한 60문항으로 검사지를 제작해 검사를 실시하였다. 이 검사의 응시자는 현재 임용시험을 준비 중인 213명의 수험생이다. 교육학 전체 문항에 대한 내용분석에서는 출제연도, 평가내용 요소별 문항비율 및 빈도 수를 살펴보았다. 또한 출제연도별로 행동영역을 분류하여 문항이 어느 정도의 고등정신능력까지 측정하고 있는지 알아보았다. 교육평가영역 문항에 대한 측정학적 분석에서는 고전검사이론과 문항반응이론에 의한 각 문항의 특성을 분석하였다. 문항특성분석 결과로 나온 문항모수치를 초․중등 교원임용시험별, 출제연도별, 평가내용 요소별로 분류하여 평균변별도, 평균난이도, 평균추측도를 추정하였고, 세부문항분석을 위해 문항별 답지반응분포 및 오답지 매력도를 살펴보았다. 검사를 시행한 60문항을 검사이론에 의해 문항을 분석한 결과, 양호도가 낮다고 판단되는 30개 문항에 대해 전문가 6명이 내용타당도를 검토하였다. 또한 이 내용타당도 검증 결과를 참고하여 문항의 양호도에 문제가 있다고 판단되었던 문항에 대한 세부문항분석을 실시하였다. 여기서 문항특성 분석결과 문항의 양호도가 낮게 나온 문항들이 갖는 내용상의 문제점 및 문항제작방법의 오류를 심층 분석하였다. 이상의 과정을 통해 교원임용시험에서 교육학시험 중 교육평가영역 문항을 질적․양적으로 분석한 결과는 다음과 같다. 먼저 교육평가영역 문항에 대한 내용분석에서는 교육학시험 하위영역별 문항비율은 출제연도별로 약간씩 차이가 있었지만 초․중등 교원임용시험에서 주로 출제되는 교육학 하위 내용영역은 주로 ‘교육철학 및 교육사’, ‘교육행정 및 교육경영’, ‘교육심리’로 나타났다. 교육평가영역은 초등 교원임용시험의 경우 10.3%, 중등의 경우 11.0%의 문항비율을 나타냈다. 교육평가영역 문항의 평가내용 요소별로 출제문항 수를 살펴본 결과, 교원임용시험에 주로 출제되는 평가내용 요소는 '교육연구방법론'과, '평가결과 분석 및 보고'였고, '교육평가의 개념, 목적, 기능, 절차'와 '교육평가관'은 출제되지 않았다. 출제연도별 문항내용분석 결과 일부연도에는 특정영역에 편중되어 문항이 출제된 경우가 있었다. 교육평가영역 문항의 측정학적 분석결과는 고전검사이론에 의한 평균변별도가 낮은 편이었고, 쉬운 문항으로 분석되었다. 문항반응이론에 의한 평균변별도는 적절했고, 난이도는 역시 쉬운 문항으로 분석되었다. 2008~2009학년도에는 특정영역에 문항이 치우쳐 출제되면서 다소 어려운 문항으로 출제되기도 했다. 양호도에 문제가 있는 문항에 대해 내용전문가 6명이 내용타당도를 검증한 결과 대부분의 문항이 피험자에게 적합한 단어를 사용했고 질문도 구체적이었으나, 문항내용의 적합성이 떨어지는 문항, 문항수준의 적합성이 떨어지는 문항, 정답시비 가능성이 있는 문항들이 있었다. 또한 고등정신능력을 측정하기보다는 단순암기능력을 측정하거나, 질문에 정답 단서가 포함되어 있거나, 답지의 구조적 논리성을 분석해 정답을 찾을 수 있는 경우가 있었다. 또한 오답지의 매력도가 지나치게 낮은 답지가 다수 있는 것으로 나타났고, 배합형 문항의 경우 답지의 배합이 정답의 단서를 제공하는 경우가 있었다. 이러한 연구 결과에 대한 시사점은 다음과 같다. 첫째로 교원임용시험의 ‘교육평가’영역 출제문항 수를 늘리고, ‘교육평가’영역 안에서 대표성 있는 문항을 출제해야 한다. 또한 시험 출제문항의 내용적합성을 높이고, 피험자의 수준에 맞는 문항을 출제하여 문항의 내용타당도를 높여야 한다. 둘째로 정답시비 가능성이 없는 문항을 출제해야 하고, 단순암기능력을 측정하기보다는, 고등정신능력을 평가할 수 있는 문항을 출제해야한다. 특히 교육학 지식을 평가하기보다는 실제 교육현장에서 교육학 지식을 어떻게 적용할 수 있는지를 평가할 수 있는 문항을 개발해야 한다. 셋째로 현행 교원임용시험 문항은 출제연도별로 평균 난이도에 차이가 크게 나타나므로 해마다 비슷한 수준의 난이도를 유지할 수 있도록 문항을 출제해야 시험응시자의 능력을 정확히 판단할 수 있다. 넷째로 교원임용시험 출제 기관에서는 임용후보자가 교사로서 알아야 할 교육학 지식의 범위 및 수준을 구체적으로 제시할 필요가 있다. 다섯째로, 교원임용시험의 문제유형, 문제제시방법, 답지제작에 대한 지속적인 연구와 개발이 필요하다. 여섯째로 문항개발자는 내용전문가이지 문항제작 전문가가 아니므로 문항개발자에게 문항 출제 전에 문항제작방법과 주의점에 대한 교육을 강화해야 한다. 또한 문항 출제 후에는 문항제작전문가의 세밀한 검토가 필요하다. 일곱째로 교원양성기관의 교육과정과 교원임용시험 출제 내용이 서로 연계되도록 해야 한다.;The existing policies in Korea, of training teachers and appointing them have only contributed to fulfilling the quantitative demands and supplies, and have been criticized for neglecting the improvement of the teachers' professional qualifications and abilities. The test for appointing teachers is the way to select teachers as well as being the process, therefore the items should be valid and reliable in order to keep up the standards of the teachers, and the teachers-to-be who are preparing for this test also expect the test to be worthy of public trust, so that they can accept the results without any dissent. Accordingly, there is a need to examine the validity and reliability of the items from the past elementary, secondary school teachers’ appointment tests and to discuss what needs to be done in order to make qualitative items for the test. The first test of the existing teacher's appointment test is a written test for the pedagogy test and major, and the items are all multiple choice. The pedagogy test is comprised of various pedagogy subfields in order to measure the expertise of the teaching profession, by each field. This study has quantitatively and qualitatively analyzed, in order to see if the items of educational evaluation section of the elementary, secondary school teacher's appointment test from 2004 to 2009 are valid and reliable. The data is a total of 68 items from the educational evaluation section of the tests of the past 6 years. Analysis of the contents of these items were done, and analyzed by means of measurement after remaking and examining the test being examined into 60 items, excluding the 8 equivalent items. The examinees of this examination were 213 candidates preparing for the teacher's appointment test. The results of the examination were as follows. Firstly, from the analysis of the contents of the items from the educational evaluation section, there were slight differences in each year in the ratio of the items from each of the subfields in the pedagogy test, but from the contents section of the sub-pedagogy which is usually part of the elementary, secondary school teacher's appointment test, showed that the most were the sections of 'philosophy of education and the history of education', 'educational administration and educational management', 'educational psychology'. The educational evaluation section comprised approximately 10% of the total pedagogy items. As a result of examining the frequency of the items presented in the test by each of the evaluation content factors of the items of the educational evaluation section, the content factors that were mostly presented in the teacher's appointment test were the 'education research methodology' and the 'evaluation result and reporting'. Moreover, in 2008 and 2009, there were cases where the items were biased from a certain section. The results of the analysis using the method of measurement of the items of the educational evaluation section showed that the average discrimination according to CTT were low, and were easy items. The average discrimination according to the IRT were appropriate, and the items were again analyzed to be easy. In 2008 and 2009, there were some items were low face validity to the students, as the items were biased from a certain section. With the data of the examination as the basis, 30 items which were judged to problematic in terms of the level of question satisfaction were selected, and 6 experts on the contents examined the content validity. As a result, most of the items used appropriate words for the testee, and there were items which were specific but had problems with appropriateness of contents, items which were inappropriate in terms of standard, and items which had possibility of controversy over the correct answer. Furthermore, there were items which solely measured the ability to memorize, items which had clues of the answer within itself, and items that could be solved by analyzing the structural logic of the answer sheets. What is more, there were several answer sheets that had excessively low attractiveness of the distractors and as for matching there were cases where the composition of the answer sheet implied the correct answer. The implications of the study results are as follows. First, the institution that sets the teacher's appointment test have to increase the number of educational evaluation items. Second, the appropriateness of the contents of the items of the test need to be improved, and the content validity of the items need to be improved by presenting items that are appropriate, taking into account the testee's standard. And more efforts to deal with the whole contents must be shown rather than focusing on a particular content. Third, the institution that sets the teacher's appointment test needs to specifically indicate the scope and level of the pedagogy knowledge that the candidates of the test need to know as a teacher. Fourth, there needs to be items that can evaluate the higher-order thinking skills, and how pedagogy knowledge can be applied in the scenes of actual education need to be developed. Fifth, it needs to be seen that items are made so that the level of difficulty of the items can be maintained as more or less the same each year. Sixth, the patterns of the items of the teacher's appointment test, the method of presenting the items, and continuous research and development of making the answer sheets is necessary. Seventh, the makers of the items are expertise on the contents, not the actual item constructor themselves; therefore, the makers of the items essentially need to learn about the methods of making the items and the precautions before item construction.