청소년적성검사 공간능력영역에서의 성별에 따른 차별적 문항기능 추출

Abstract

본 연구는 2002년 한국중앙고용정보원에서 제작한 청소년 적성검사 중 공간능력영역에서의 성별에 따른 차별적 문항기능(DIF)을 추출하기 위한 것이다. 차별적 문항기능은 검사를 구성하고 있는 문항들에 대한 양호도 및 타당도의 검증을 위한 중요한 방법론 중의 하나이다. 이를 위하여 본 연구에서는 차별적 문항기능을 추출하기 위한 여러 방법들 중 Mantel-Haenszel(MH) 방법과 로지스틱 회귀분석 방법, SIBTEST 방법을 사용하였다. 또한 세 가지의 각 방법에서 대응변수를 일반적인 총점과, 일반적인 총점을 대응 변수로 하여 추출된 문항을 제거한 총점의 두 가지로 구성하여 분석해 보았다. 이렇게 서로 다른 세 가지의 추출법과 각 방법별로 대응변수를 두 가지로 구성하여 차별적 문항기능을 추출해 보고 그 결과들 간의 유사점과 그 차이점에 대해서 알아보았다. 또한 공통적으로 추출되어진 문항들에 있어서는 문항의 내용과 특성에 대해서 분석하여 차별적 문항기능이 비롯된 원인무엇인지에 대해 분석해 보았다. 2002년 청소년 적성검사 중 공간능력검사는 각각 12개 문항으로 구성된 심상회전과 부분찾기로 구성되어있고, 문항수는 총 24개이다. 본 연구자료의 원자료인 청소년 적성검사의 본검사 자료에는 2614명의 수검자가 포함되어있었으나, 이 중 651명(남학생 331명, 여학생 320명)의 자료를 분석에 사용하였다. 본 연구의 진행절차 및 결과는 다음과 같다. 1. MH 방법에서 대응변수로 일반적 총점을 사용한 경우 전체 24개의 문항 중 3개의 문항이 차별적 기능을 수행한다고 추출되었으며, 이중 한 문항은 남자에게 유리한 문항이었고, 두 문항은 여자에게 유리한 문항이었다. DIF 문항을 제거한 대응변수로 추출한 경우에도 3개의 문항이 추출되었고 한문항은 남자에게, 두 문항은 여자에게 유리한 것으로 나타났다. 로지스틱 회귀분석 방법에서는 일반적 총점이 대응 변수일 때는 4개의 문항이 모두 균일한 DIF 문항으로 나타났고 이중 2개의 문항은 남자에게 2개의 문항은 여자에게 유리한 문항으로 나타났다. DIF 문항을 제거한 대응변수의 경우에는 3개의 문항이 균일한 DIF 문항으로, 1개의 문항이 비균일한 DIF 문항으로 추출되었고, 균일한 DIF문항의 경우, 1개의 문항은 남자에게, 2개의문항은 여자에게 유리하게 나타났다. SIBTEST 방법을 통해 추출한 결과 연구문항만 제외한 총점을 가지고 탐색적으로 추출한 결과 3개의 문항이 DIF 문항으로 추출되었으며 이중 한 문항은 남자에게 두 문항은 여자에게 유리한 것으로 추출되었다. DIF 문항을 제거한 대응변수를 사용한 경우에도 3개의 문항이 추출되었고, 1개의 문항이 남자에게, 2개의 문항이 여자에게 유리한 것으로 나타났다. 2. 각각의 방법에서 탐색적인 과정을 통해 추출한 DIF 문항들을 대응변수에서 제외시키고 재분석한 결과들은 탐색적인 과정을 통해 얻은 결과들과 거의 유사했으며 전체 24개의 문항들 중 각각의 방법에서 대응변수를 정화한 경우와 아닌 경우의 차이는 1개 혹은 2개 문항이 일치하지 않는 정도였으며, 이렇게 차이를 보이는 문항들의 크기는 차별적 기능이 거의 없거나 매우 미미한 수준으로 볼 수 있었다. 또한 각 방법에서 대응변수를 달리한 경우에 공통적으로 추출된 문항들의 경우에는 DIF 문항을 제거한 대응변수를 사용했을 때 차별적 기능의 크기를 나타내는 지수가 다소 커지는 경우를 발견할 수 있었다. 3. 방법들간의 일치성을 Kappa 계수를 통해 알아본 결과, 본 연구에서 사용한 세 가지 DIF 추출방법들 간의 일치도는 대부분 모두 높은 편이라는 것을 알 수 있었다. 그 중 로지스틱 회귀분석의 방법에서 DIF 문항을 제거한 대응변수를 사용한 경우가 다른 것들과의 일치성이 다른 방법들간의 일치도보다 다소 낮게 나타났다. 2002년 제작된 청소년 적성검사의 공간능력검사에 대한 차별적 문항기능에 대한 본 연구에서 모든 방법을 통해 공통적으로 두 개의 하위검사의 24개 문항 중 각각의 하위검사별로 한 개씩 전체 2개의 문항이 성별에 따라 차별적 기능을 한다는 것을 발견하였다. 이러한 결과를 통해 본 연구에서 사용한 청소년 적성검사의 공간능력검사는 성별이라는 집단 조건에 따라서 크게 다른 기능을 한다고 볼 수 없으며 대체적으로 남녀 모두에게 동등하게 기능하는 양호한 검사라는 것을 확인해 볼 수 있었다. ;The purpose of the present study was to detect gender-related differential item functioning(DIF) on the spatial ability test, which was a subtest of the Adolescence Aptitude Test provided by Work Information Center of Korea. The spatial ability test consisted of a total of 24 items, which comprised the mental rotation test and the fragment-finding test. The data for this study included 331 male students and 320 female students, which was a part of the data collected by Work Information Center of Korea in 2002. Three methods were used for detecting DIF-Mantel-Haenszel(MH), Logistic Regression, and SIBTEST. In each method, two kinds of matching variables were used. In the preliminary phase, the item total score of 24 items was used as the matching variable in each method. After this procedure, the matching variable was reconstituted by eliminating DIF items which were detected in the preliminary phrase in each method. 6 results from these detecting procedures were compared by Cohen's Kappa coefficient. As a result, one item of the mental rotation test was in favor of male students and one item of the fragment-finding test was in favor of female students by 6 methods in common. Reasons of detecting these two items were discussed in terms of the relationships among gender-related DIF, item content and strategies of solving items. Finally, the limitations of this study and recommendations for following studies were addressed.