문항반응이론(Item response theory)의 활용에 대한 연구

Abstract

There has been considerable development in language testing as the result of language teaching methodology. Theories of measurement have also affected language testing. Recently, the Item Response Theory, an innovative approach in the field of measurement developed by George Rasch in 1960, has been applied to language testing. According to Grant Henning, it is the most useful theory which more accurately estimates the reliability of each item in a test and the reliability of each student's responses. The purpose of the present study is thus to apply this theory to the analysis of the English progress achievement test given in Incheon middle schools in October 1992. This study uses the Rasch Model, in which caculation processes are simple and the interpretation of the results is easy. The responses of 104 first-year students and 106 third-year students of S Middle School in Incheon were analysed. The results of the study are as follows: 1. Many students were found to be blind guessers in the test. Their responses to the given items were not reliable. 2. The students whose responses were not consistent strongly affected the reliability of the items in the test. 3. The t-value which 11?as first measured was found accurate enough to determine the reliability of the students' responses. but not to determine the reliability of the items. 4. The items testing beyond the course contents decreased the reliability of each student's responses as well as of the items themselves. In addition, rote learning and training to prepare for the test were found to be a major factor downgrading the reliability of the test and the student's responses Through the application of the Item Response Theory, English tests can be made more reliable. with such tests, moreover, more reliable responses can be obtained from the students. Although the Item Response Theory is useful to improve the reliability of language tests, its calculation processes are very complicated and time-consuming. This sometimes makes the application of the theory impractical But, if a computer is used, a practical use of the theory is possible. It is suggested, therefore, that the Item Response Theory should be used when an attempt is made to increase the reliability of a test.;언어학습이론과 언어평가이론은 밀접한 관계를 가지고 지금까지 변화, 발전하여왔으며 언어평가의 내용이나 형식도 변화를 거듭하여 왔다. 그러나 평가의 내용이나 형식이 바뀌어도 한가지 변화하지 않는 것은, 이상적인 평가는 교수과정과 대등한 관계를 가지고, 상호보완적인 역할을 할 수 있어야 하며, 타당도, 신뢰도, 실용성이 있어야 하고, 교사와 학생들에게 유익한 backwash를 제공하여 줄 수 있어야 한다는 것이다. 평가가 학생들의 능력을 올바르게 측정하고 있는가를 알아보는 측정이론은 크게 고전검사이론(classical test theory)과 문항반응이론(Item Response Theory)으로 나뉠 수 있다. 현재 교육현장에서 널리 쓰이고 있는 고전검사이론에서는 문항의 난이도에 따라 학생의 능력수준의 평가결과가 달라지고 학생의 능력수준에 따라 문항의 난이도가 결정된다는 제한점이 지적되어 이러한 문제를 해결하고자 문항반응이론이 대두되었다. 이 이론은 학생들의 능력과 각 문항의 난이도를 서로 비교가능한 동일한 연속선상의 수치로 나타내어 , 주어진 문항에 대한 학생의 반응을 확률로 계산함으로써 각 학생별 신뢰도와 각 문항별 신뢰도에 대한 검사를 가능하게 한다. 본 논문에서는 문항반응이론을 중학교 언어평가의 현장에 활용해보고자 하는 목적으로 문항반응이론의 여러 모형중의 하나인 Rasch모형 (일명 1-모수 로지스틱 모형)을 인천시 중학교 영어학력고사 결과에 적용하여 각 문항별 신뢰도 및 각 학생별 시험결과의 신뢰도를 분석검토해 보았다. 자신의 능력과 상관없이 맹목적 인 추측에 의하여 정답을 맞춤으로써 타당하지 못한 점수를 얻은 학생들은 1학년의 경우 104명중 34명, 3학년의 경우 106명중 10명이었다. 이것은 3학년보다 1학년 학생들이 시험중 추측에 의해서 답을 쓰고 있는 경우가 더 많음을 보여주고 있는 것이다. Rasch모형에 부적합한 학생들을 제외하고 2차계산하여 문항별 적합도 지수를 얻어 살펴본 결과 3학년 문제 중에서 3문제가, 1학년 문제중에서 2문제가 신뢰도가 낮은 것으로 나타났다. 이문제들은 3학년의 경우는 단어의 발음, 단어의 강세, 단어에 대한 문법적 지식등을 묻는 것이었으며, 1학년의 경우는 단어의 철자, 의문부사를 사용한 의문문에 관한 문제들이었다. 학생들은 특히 문제의 답지(options)에 배우지 않은 단어들이 들어있는 경우에 타당하지 못한 반응을 보였는데 이것은 인천시가 학기중에 실시하고 있는 5종교과서 공통출제라는, 학력고사가 가지고 있는 문제점이라고 생각한다. 본 연구에서 활용한 문항반응이론은 학생들을 점수로만 평가하는 것이 아니라 학생들의 능력에 따라 각 문제에 타당한 반응을 하였는가를 보여주며, 또한 문항의 신뢰도도 보여줄 수 있어 신뢰도가 높은 평가의 작성에 큰 도움을 줄 수 있다. 따라서 높은 신뢰도가 요구되는 고입, 대입, 학력고사 문제 작성시 이러한 이론이 유용하게 활용된다면 좀더 신빙성이 높은 평가가 되리라고 본다.