문항 유형에 의한 문항의 차별적 기능 탐색

Abstract

검사 결과들은 일반적으로 배치, 승진, 그리고 자격과 관련된 의사결정을 위한 자료로서 사용되고, 이러한 결정들은 중요한 개인적, 사회적, 그리고 정치적 결과를 초래하기 때문에 더욱 중요하다. 최근 검사를 구성하는 문항으로 지식의 활용과 능동적인 문제해결능력에 초점을 두는 과정 위주의 수행평가 문항들을 적극 활용하도록 하고 있으나, 수행평가 과제의 현실적 적용의 문제로 대부분의 검사에서 서술형 문항이나 단답형 문항들이 주로 활용되고 있다. 검사를 구성하고 있는 문항의 유형에 따라서 피험자의 수행에 차이가 나타나거나 피험자의 능력 추정에 영향을 준다면, 신뢰롭고 타당하며 공정한 검사를 위해 문항 유형의 영향을 진단하는 것이 필수적이다. 검사도구의 공정성의 문제를 진단하는 측정학적 접근은 문항 유형이 집단에 따라 차별적으로 기능하는지 통계적으로 조사하는 것이다. 또한 검사도구의 차별기능문항을 추출하는 것뿐만 아니라 차별기능문항을 유발하는 원인을 알아보는 것이 차별기능문항 연구의 궁극적인 목적 중의 하나이다. 본 연구는 선다형과 단답형의 문항 유형에 따라 차별적으로 기능하는 문항들이 있는지 추출하고, 문항 유형의 차이가 집단에 따라 어떻게 작용하는지, 문항 유형이 차별기능을 유발하는 하나의 요소로 인식될 수 있는지 알아보았다. 그리고 각 문항 유형 별로 성별에 따른 차별기능문항을 추출하여 결과를 비교하고, 추출된 문항들의 내용과 특성을 분석하였다. 이 연구에서 분석한 자료는 제 7차 초등학교 5학년 수학과 교육과정 중 수와 연산, 도형, 측정, 확률과 통계, 문자와 식과 관련된 영역에서 출제한 20개의 동일한 내용의 선다형과 단답형 문항에 대해 초등학교 6학년 245명의 학생들이 응답한 것이다. 차별기능문항을 추출하는데 적용한 방법은 일반화된 Mantel-Haenszel 방법과 Simultaneous Item Bias Test(SIBTEST) 방법이었다. 본 연구의 결과는 다음과 같다. 첫째, 동일한 내용의 문항들로 구성된 선다형 검사와 단답형 검사를 실시한 결과, 선다형 검사 집단의 평균점수는 단답형 검사 집단의 평균점수보다 높게 나타났다. 고전검사이론과 문항반응이론에 의하여 추정된 문항난이도를 비교할 때 선다형 검사보다 단답형 검사에서 문항이 더 어렵게 기능하고 있는 것으로 나타났다. 문항변별도의 경우, 고전검사이론과 문항반응이론에 의한 결과 모두 단답형 검사에서 더 높은 변별력을 나타냈다. 둘째, 문항 유형과 성별에 따라서 수학 검사 점수의 차이가 통계적으로 유의한지 알아보기 위해서 구획분할 교차요인 분석을 실시한 결과, 문항 유형에 따라서 검사점수의 차이를 보이지만, 성별에 따라서, 그리고 성별과 문항 유형의 상호작용에 의해서는 검사 점수 간의 차이를 보이지 않는 것으로 나타났다. 셋째, MH 방법과 SIBTEST 방법을 이용하여 문항 유형에 따라 차별적으로 기능하는 문항들을 추출한 결과, 두 방법에 의해 동일하게 6개의 문항들이 추출되었다. 선다형에 유리하게 기능하는 1번, 4번, 12번, 17번은 다른 문항들에 비해 상대적으로 어려운 문제해결능력이나 응용력을 측정하는 문항들이고, 7번과 10번은 분수의 곱셈과 나눗셈에 대한 계산과 합동의 이해에 대한 단순한 문항들이었다. 선다형과 단답형이 동일한 내용을 측정하는 문항임에도 불구하고 선다형보다 단답형 문항을 상대적으로 많이 어렵다고 인식하며, 선다형 문항에서 더 높은 수행을 보인다. 또한 차별기능문항으로 추출된 문항들의 남학생 집단과 여학생 집단의 난이도 차이를 분석한 결과, 선다형이 남학생들보다 여학생들에게 더 유리하게 차별적으로 기능한다는 것을 유추할 수 있었다. 이러한 결과는 문항 유형이 차별기능문항의 한 요인으로 작용할 수 있다는 것을 의미한다. 넷째, 문항 유형별로 선다형과 단답형 검사에서 각각 성별에 의한 차별기능문항을 추출한 결과를 살펴보고 문항의 내용 및 특성 분석을 실시하였다. 선다형 검사에서 남학생 집단에게 유리하게 기능한 4번 문항은 분수의 계산에 대한 문장제 응용문항이며, 단답형 검사에서 남학생 집단에 유리하게 기능한 10번 문항은 도형의 합동에 대한 이해를 측정하는 문항이었다. 단답형 검사에서 여학생 집단에 유리하게 기능한 7번과 17번 문항들은 분수의 곱셈과 도형의 넓이를 계산하는 응용문항이었다. 또한 수와 연산에 관련된 3번 문항과 도형의 넓이를 계산하는 15번 문항은 유형에 따른 차별기능이 아닌 성별에 따라서 차별적으로 기능하는 문항으로 나타났다. 차별기능문항으로 추출된 문항들의 내용 분석 결과, 기하학, 그림이나 그래프 등이 포함된 문항, 문제해결능력을 측정하는 문장제 응용문항들은 남학생에게 유리하고, 산수와 계산 문항은 여성에게 유리하게 기능하였다. 그러나 도형의 넓이를 계산하는 응용문항들이 선행연구들의 결과와 다르게 여학생 집단에 유리하게 기능하는 문항으로 나타났다. 다섯째, MH 방법과 SIBTEST 방법에 의한 차별기능 지수의 상관계수를 비교한 결과, 전체 검사의 경우와 단답형 검사의 경우에 두 지수 간에 높은 상관을 보였다. 또한 문항 유형별 결과에서 MH 방법에서 SIBTEST 방법보다 더 적은 문항이 차별기능문항으로 추출되었으며, MH 방법이 SIBTEST 방법보다 보수적인 방법이라는 것을 알 수 있다. 본 연구에서 특히 강조되는 결과는 동일한 학생들에게 동일한 내용의 문항으로 검사를 실시했음에도 불구하고 선다형과 단답형에서의 수행차이가 크게 나타나고, 이러한 차이가 문항 유형에 따라 차별적으로 기능하는 문항으로 확인된다는 것이다. 이러한 결과는 학생들이 주관식 문항에 응답하는데 어려움을 느끼고, 선다형 문항에서는 심리적인 안정감이 상당하다는 선행 연구의 결과와 연결될 수 있다. 문항 유형에 따라 차별적으로 기능하는 문항들을 줄이기 위해서는 실제 수업 상황에서 단답형이나 서술형으로 제시되는 문항들, 나아가 수행평가 과제들을 다양하게 다룸으로써 학습자가 이 과제에 친숙해지도록 노력해야 하며 다양한 접근 방법들을 교사와 학생들이 함께 논의함으로써 이러한 과제들에 대한 학습전략을 발달시켜야 할 것이다. 이러한 결과를 바탕으로 유형에 따라 차별적으로 기능하는 문항의 영향을 개선하기 위하여 학생들이 다양한 유형에 동등하게 익숙해지도록 교육과정과 교수(instruction)의 변화가 이루어져야 할 것이다. 이와 같이 차별기능문항에 대한 연구는 타당하고 공정한 평가도구의 개발과 교육과정, 교수·학습 과정을 개선하는데 도움이 되는 정보를 제공할 수 있고, 이를 위해서는 다양한 검사 조건에서 차별기능문항에 대한 연구들이 끊임없이 지속되어야 하며, 여러 가지 차별기능의 원인을 밝히는 경험적인 연구가 축적되어야 할 것이다.

; Test results are routinely used as the basis for decisions regarding placement, advancement, and licensure. These decisions have important personal, social and political ramifications. Recently, even though there has been an increased interest about the performance assessments, most tests have had extended-response items or open-ended items because of some actual problems of the use of performance assessments. If there are the effects of item format on examinees' performance, it is essential to identify the effects of item format for fair test. The detection of differential item functioning(DIF) can be helpful in investigating the effects of item format. One of the major goals of DIF research is, also, to better understand the root causes of DIF. The purposes of this study are to detect item format-related DIF, to detect gender-related DIF in each format, and to investigate the cause of DIF. For these purposes, the Mantel-Haenszel(MH) procedure and the Simultaneous Item Bias Test(SIBTEST) procedure were applied to detect DIF. And results by using two methods were compared through correlation coefficients. Also, with analyzing contents and distinct features of DIF flagged by two methods, an attempt to identify the factors that influence DIF was made. For these purposes of this study, the same twenty items for elementary 5th grade mathematics constructed by multiple-choice and open-ended formats were responded by same 122 male and 123 female students. Followings are the results from those research. First, even though tests were constructed by the same contents, there was a striking differences between item formats. The group mean of multiple-choice item format was higher than the group mean of open-ended item format. The mean of item difficulty of the open-ended format was much higher than the multiple-choice format and the mean of item discriminations of the open-ended format was higher than the multiple-choice format. Secondly, as the result of split-plot factorial design, there was a statistical significance by item format, but no statistical significance by gender and by the interaction between item format and gender. Thirdly, the MH method and the SIBTEST method detected six items as DIF among twenty items. The 1st, the 4th, the 12th, and the 17th items were in favor of multiple-choice format and were in content areas of problem solving or applied items. The 7th and the 10th items in favor of open-ended format were simple arithmetic item and understanding item. Examinees recognized open-ended format as much harder format differentially and overperformed in multiple-choice format. In addition, through analyzing the difference of item difficulty between male and female students of six items that were detected as DIF, it could be analogized that female students were favored in the multiple-choice format. This result means item format is a factor causing DIF. Fourthly, as the result of detecting gender-related DIF in each format, in the multiple-choice format, the 4th item that favored male students was in the content areas of calculating fractions. In the open-ended format, the 10th item that favored male students was in the content areas of understanding congruence of figure. And in the multiple-choice format, the 7th and the 17th items that favored female students were calculating fractions and the area of figure. The 3th item in the content area of arithmetic and the 15th item calculating the area of figure were not item format-related DIF but gender-related DIF. It was different from prior studies results that female scored higher than male in the content areas of calculating the area of figure. Lastly, the rank correlation between DIF index of the MH method and that of the SIBTEST method was high. Also, the MH method detected fewer DIF items compared with the SIBTEST method and the MH method is more conservative than the SIBTEST. As the important result of this study, even though tests were constructed by the same items and were taken by the same examinees, there were the effects of item format on performance and the existence of item format-related DIF. These results can relate with that open-ended format than multiple-choice format induced greater worry. To reduce item format-related DIF, teachers and students should deal with various open-ended items or expanded-response items in the class and develop a lot of approaches to solve these items. In conclusion, this study proposed to identify the cause of DIF items beyond detecting DIF. It is desirable to compare results of various methods and analyze the cause of DIF through meta analysis. These studies will help to set a curriculum and to improve a instructional method.