종합진로적성검사 수리영역의 성 차별기능문항 추출

Abstract

A test should be constructed fairly for any group. The purposes of this study are as following. One is to find out a valid method for detecting gender-related differential item functioning(DIF) in the mathematical ability test, which is a subtest of the comprehensive Vocational Aptitude Test for High School Students provided by the Private Middle and High School Principal Committee of Korea. The MH, the logistic regression, the Raju and the facets methods are used to detect DIF. The other purpose is to investigate the reason of DIF for the mathematical ability test. For these purposes, results by using the four methods mentioned above are observed, and Spearman's rank correlation coefficient, agreement statistics, and Cohen's Kappa coefficient are used to compare these methods. Also, sith analyzing contents and distinct features of DIF flagged by at least two of the four DIF methods, an attempt is made to identify the factors that influence DIF. The Comprehensive Vocational Aptitude Test is composed of the basic ability test of 130 items of verbal, social scientific, mathematical, natural scientific, spacial, clerical ability, the self- perception test on 80 items of handicraft, physical-motor, artistic, personal relationship ability, and the vocational preference test on 90 items. There are nineteen multiple choice items in the mathematical ability test. The data of 697 male and 754 female students' responses are analyzed for the study. The MH method and the logistic regression method detected five items among the nineteen items each as DIF. Three items were in favor of male students and the others were in favor of female students. The facets method detected two items as DIF, one favored female students and another favored male students. The Raju method flagged four items as DIF, two items were in favor of male students and the others were in favor of female students. The rank correlation between DIF index of the logistic regression method and that of the Raju method was extremely high. Also, the logistic regression method relatively correlated with the MH method. The agreement statistics between the MH method and the logistic regression method reached the highest percentage of all. However, the agreement statistics between the MH method and the logistic regression method was the lowest. The facets method somewhat agreed with other methods, but the rank correlation coefficient showed negatively low relationship. Among items detected as DIF in each method, the 1st the 5th, the 7th, the 9th, and the 10th items among the nineteen items were flagged as DIF by at least two of the four DIF methods. To find our the factors that affected DIF for those five items, and analysis of the items contents and distinct features was conducted. Each the 5th and the 7th items that favored female students were in the content areas of calculating fractions and exponents. Also, the content areas of each the 9th and the 10th items that favored male students were about quantitative comparison and percentage. Both of the items were word problems. Different from prior studies results that female scored higher than male in the content areas of arithmetic and computation, the 1st item on arithmetic favored male students. The 1st item was extremely easy so that female students in high mathematical ability level mistakenly answered the wrong one, rather than DIF. Therefore, there were only four items that truly detected as DIF. In conclusion, this study proposed to check content of DIF items beyond detecting DIF. It is desirable to compare results of variety methods and to analyze the reason of DIF through a content analysis. The content analysis will help to set a curriculum and to improve a instructional method.;교육현장에서의 검사의 목적은 학습의 효과 또는 변화를 정확히 측정하여 학생 개개인에게 정확한 정보를 제공해 주는 것이라 할 수 있다. 어떤 검사 문항이 특정 집단의 피험자들에게 유리하거나 불리하게 작용할 경우, 그 검사는 제 역할을 하지 못하게 된다. 검사가 측정하려고 하는 것을 신뢰롭고 타당하며 공정하게 측정한다는 것을 확신하려면 검사에 대한 양호도 검증이 필수적이며, 표준화 검사에서 공정성의 문제를 다루기 위한 중요한 방법론 중 하나는 차별 기능 문항에 대한 연구이다. 본 연구는 차별기능문항 추출 방법 중 MH 방법, 로지스틱 회귀분석 방법, RAJU 방법, FACETS 방법을 사용하여 대한사립중고등학교장회의 고등학생용 종합진로적성검사 중 수리능력 검사에서 성별에 따른 차별기능문항이 존재하는 지를 살펴봄으로써 타당한 방법이 무엇인지 분석하고, 수리능력검사가 적성검사로서 공정성을 지니는지 진단해 보는 데 목적이 있다. 이와 같은 연구 목적을 위하여, MH 방법, 로지스틱 회귀분석 방법, RAJU 방법, FACETS 방법의 적용결과를 살펴보고, 방법 간 상관계수와 일치도를 통해 결과들의 유사점과 차이점을 분석하였으며, 두 가지 이상의 방법에서 차별기능 문항으로 추출된 문항들의 내용과 특성을 분석하여 어떤 요소가 차별기능을 야기하는지 알아보았다. 종합진로적성검사는 언어․사회과학․수리․자연과학․공간․사무능력에 대한 기초능력검사 130문항, 수공․신체운동․예술․대인관계능력에 대한 지각검사 80문항, 직업선호도 검사 90문항으로 구성되어 있다. 본 연구에서는 종합진로적성검사의 규준 개발을 위해 실시된 본 검사 결과인 수리능력 검사 사지선다형 19문항에 대한 남자 697명, 여자 754명의 응답 자료를 사용하였다. 연구 결과, MH 방법과 로지스틱 회귀분석 방법에 의해서는 총 19문항 중 5문항이 차별기능문항으로 추출되었으며, 이 중 3 문항은 여자에게 불리하게, 2문항은 남자에게 불리하게 기능하였다. FACETS 방법에서는 2문항만이 차별기능 문항으로 추출되었는데, 하나는 남자에게, 다른 하나는 여자에게 불리하게 기능하였다. RAJU 방법에 의해서는 4문항이 차별기능문항으로 추출되었으며, 이중 남자에게 불리하게 기능하는 문항이 2문항, 여자에게 불리하게 기능하는 문항이 2문항이었다. 결과를 사용하여 차별기능문항 지수에 의한 SPEARMAN의 등위상관계수, 추출결과에 따른 일치도 통계와 KAPPA 계수를 계산하였다. 로지스틱 회귀분석 방법과 RAJU 방법이 가장 높은 상관을 나타냈으며, 로지스틱 회귀분석 방법과 MH 방법 간에도 상관이 있음을 알 수 있다. 가장 높은 일치도를 보인 것은 MH 방법과 로지스틱 회귀분석 방법이었으며, MH 방법과 RAJU 방법 간에는 가장 낮은 일치도를 보였다. FACETS 방법은 다른 방법들과 어느 정도 일치하는 것으로 나타났으나, 등위상관계수는 다른 방법들과 부적으로 낮은 상관을 보였다. 각 방법에서 차별기능으로 추출된 문항 중 두 가지 이상의 방법에서 차별기능문항으로 추출된 1번, 5번, 7번, 9번, 10번 문항에 대해 차별기능의 원인을 밝히기 위하여 문항의 내용 및 특성을 분석 실시하였다. 남자에게 불리하게 기능하는 5번과 7번 문항은 각각 분수와 지수를 계산하는 문항이며, 여자에게 불리하게 기능하는 9번과 10번 문항은 각각 양을 비교하는 부등식과 비율에 관한 문장제 응용문항이었다. 1번 문항의 경우, 여자가 산수와 계산 문항에서 남자보다 높은 수행을 나타낸다는 선행연구와 달리, 여자에게 불리하게 기능하였다. 답지 분석을 통하여 1번 문항은 차별기능을 나타내는 문항이라기보다는 문항의 난이도가 매우 쉬워 여자 집단의 학생들 중 능력이 높은 학생들이 실수로 틀린 문항임을 알 수 있었다. 결과적으로 수리능력 검사에서 검사 내용에 의해 실제로 차별기능으로 추출된 문항은 1번 문항을 제외한 총 4문항이었다. 검사의 공정성을 진단하는 방법으로 차별기능문항을 추출하여 판단하기보다는 여러 방법을 사용하여 통계적 결과를 비교 분석하고, 전문적 판단과 해석을 통하여 차별기능의 원인을 파악하는 일이 바람직하다는 결론을 도출하였다. 이를 기초로 남녀 학생들에게 차별적이지 않은 내용에 의한 교육과정과 교수방법에서의 변화가 이루어져야 할 것이다.