'잘 모르겠음' 답지와 차별점수화가 검사의 측정학적 특성에 미치는 영향

Abstract

검사는 피험자의 잠재적 특성을 측정하기 위한 도구로서, 이러한 검사 도구를 통해 측정된 결과는 투입된 교육의 효과 판단, 교육문제의 해결, 교육실제의 개선, 혹은 학생 개개인의 문제해결에 활용할 수가 있으며, 또한 선발이나 배치를 위해서도 활용된다. 따라서 사회적으로나 개인적으로 볼 때, 검사는 매우 중요하게 기능하며, 검사를 통해 산출된 결과의 적절한 활용을 위해 보다 신뢰롭고 타당한 검사도구가 요구된다. 검사도구가 양호하게 제작되기 위해서는 우선 검사를 구성하고 있는 문항의 질이 높아야 할 필요가 있다. 채점의 객관성이 확보되어 대규모 검사에서 많이 시행되고 있는 선다형 문항(multiple-choice item)의 경우, 피험자가 추측에 의해 정답할 확률이 존재하는 단점을 보완하여 문항을 제작한다면 보다 양질의 문항으로 제작할 수 있을 것이다. 본 연구에서는 선다형 문항에서 추측에 의해 답을 맞힐 확률을 줄임으로써 검사도구의 양호도를 증진하기 위한 하나의 방안으로 ‘잘 모르겠음’ 답지를 포함하는 것과 ‘잘 모르겠음’ 답지를 포함하고 이 답지를 선택한 경우 가중치를 부여하여 틀린 답을 선택한 문항과 차별점수화 하는 것이 문항 특성과 검사특성에 긍정적인 영향을 미치는지를 확인하였다. 이를 통해, 이러한 처치가 추측의 가능성을 줄이고 피험자의 능력을 정확히 측정하도록 하는 효과가 있는지를 분석하여 보다 양질의 문항을 제작하는데 하나의 지침이 될 수 있는지를 알아보았다. 이 연구를 위해 중학교 2학년 학생 826명이 24문항으로 구성된 수학 검사에 응답한 자료를 이용하였으며, 피험자를 세 집단으로 나누어 각각 일반적인 검사(A형)와 ‘잘 모르겠음’ 답지가 포함된 검사(B형), ‘잘 모르겠음’ 답지가 포함되어 ‘잘 모르겠음’ 답지에 가중치를 부여하는 방법으로 차별점수화를 적용한 검사(C형)에 응답하도록 하였다. ‘잘 모르겠음’ 답지에 가중치를 부여한 검사의 경우, 모르는 문항에 추측하여 응답하지 않고 모른다고 응답한 경우와 추측에 의해 오답을 선택한 경우에 차별 점수화를 적용한다는 공지를 하였다. 이 공지로 인한 추측하지 않는 경우에 더 유리하다는 인식이 피험자의 응답반응에 어떤 영향을 미치는지를 확인하기 위해 다른 검사 유형과 같은 점수처리(정답이 아닌 답지나 ‘잘 모르겠음’ 답지를 선택하면 0, 정답을 선택하면 1로 점수화)를 한 C형-1과 실제로 ‘잘 모르겠음’ 답지에 가중치를 주는 점수처리(틀린 문항 0, 맞은 문항 1, ‘잘 모르겠음’ 답지를 선택하면 ‘1/답지수’ 인 1/5점 부여)로 정답 이외 답지에 대한 응답에 차별점수를 부여한 C형-2 로 구분하여 검사 특성을 산출하였다. 수집된 자료를 통해 일반적인 검사 문항의 특성을 검사 문항에 ‘잘 모르겠음’ 답지가 포함된 경우, ‘잘 모르겠음’ 답지에 가중치를 부여한 경우와 비교 분석하여 결론을 도출하였으며, 연구 결과는 다음과 같다. 첫째, 처치를 가하지 않은 검사와 ‘잘 모르겠음’ 답지를 포함한 검사, ‘잘 모르겠음’ 답지를 포함하고 ‘잘 모르겠음’ 답지에 가중치를 부여한 검사간 총점의 기술통계를 비교한 결과 처치를 가하지 않은 검사의 총점이 가장 높았으며, 다음으로는 ‘잘 모르겠음’ 답지를 포함한 검사, ‘잘 모르겠음’ 답지를 포함하고 ‘잘 모르겠음’ 답지에 가중치를 부여한 검사 순으로 총점이 높게 나타났다. 따라서 ‘잘 모르겠음’ 답지를 포함한 경우와 ‘잘 모르겠음’ 답지에 가중치를 부여한 경우 추측에 의해 정답을 맞히는 확률이 줄어들어 검사 점수가 낮아진 것을 확인할 수 있었다. 둘째, 문항 변별도는 처치를 가하지 않은 검사가 가장 낮았고, ‘잘 모르겠음’ 답지를 포함한 검사가 가장 높았다. C형-1의 문항 변별도는 C형-2에 비해 조금 낮게 추정되었지만 거의 유사했고, 두 경우 모두 ‘잘 모르겠음’ 답지를 포함한 검사보다 변별도가 낮았다. 이를 통해, ‘잘 모르겠음’ 답지가 포함됨으로써 문항의 변별도가 향상되는 효과를 나타냄을 알 수 있었다. ‘잘 모르겠음’ 답지가 포함되고 이 답지에 가중치가 부여되는 경우는 변별도가 향상되는 효과가 있기는 하지만 ‘잘 모르겠음’ 답지만 포함시켰을 때에 비해 그 효과가 감소하거나 거의 유사하여 틀린 답지를 선택한 문항과 추측하지 않은 문항을 차별하여 점수화하는 방법이 문항의 변별도를 높이는데 영향을 주지 못하는 것으로 나타났다. 셋째, 문항난이도는 처치를 가하지 않은 검사가 가장 어렵게 나타났고, 나머지 검사 유형은 보다 쉬운 것으로 나타났다. 그러나, 검사도구의 난이도가 매우 쉬운 문항에서 매우 어려운 문항까지 폭넓게 분포되어 있어 분포 범위가 작은 문항변별도와 문항추측도에 비해 검사간 난이도 수치의 차이는 크지 않음이 확인된다. 또한, 모든 검사 유형에서 문항 난이도의 범주는 유사하여 본 연구의 처치가 문항난이도에 크게 영향을 미치지 않았음을 알 수 있다. 넷째, 문항추측도는 처치를 가하지 않은 검사(A형)에서 가장 높게 산출되어 추측에 의해 정답을 선택하는 비율이 가장 높은 것으로 나타났다. ‘잘 모르겠음’ 답지를 넣고 모르는 문항은 추측하여 답하는 것보다 ‘잘 모르겠음’ 답지를 선택하는 것이 유리하다는 사실을 공지한 후 ‘잘 모르겠음’ 답지를 틀린 것으로 처리한 경우(C형-1)는 ‘잘 모르겠음’ 답지만 넣은 검사(B형)와 추측도가 비슷하였고, 이 두 검사 모두 처치를 가하지 않은 검사보다 추측도가 낮아져 ‘잘 모르겠음’ 답지를 포함시키는 것이 문항추측도를 감소시키는 데 도움이 된다는 사실을 확인할 수 있었다. ‘잘 모르겠음’ 답지에 실제로 가중치를 준 경우(C형-2)는 처치를 가하지 않은 검사를 제외한 두 검사에 비해 추측도가 상승하였다. 또한 C형-1의 문항추측도는 ‘잘 모르겠음’ 답지만 넣은 검사와 추측도에 거의 차이가 없어 모르는 문항에 추측하여 응답하지 않고 ‘잘 모르겠음’ 답지를 선택한 경우와 추측하여 틀린 문항을 차별하여 점수화하는 방법이 추측에 의해 정답을 선택할 가능성을 줄이는 역할을 하지 않는다는 결과가 나왔다. 다섯째, 피험자 능력추정의 정확성을 알 수 있는 피험자 능력추정 오차와 문항정보함수, 검사정보함수 역시 ‘잘 모르겠음’ 답지만을 포함한 검사에서 가장 양호했다. 또한, ‘잘 모르겠음’ 답지를 포함하고 ‘잘 모르겠음’ 답지를 선택한 경우 추측하여 답을 선택하는 경우보다 유리하다는 공지를 한 후 두 가지 방법으로 ‘잘 모르겠음’ 답지를 처리한 경우는 ‘잘 모르겠음’ 답지만이 포함된 검사에 비해 능력추정 정확성 지수가 높지 않았다. 이를 통해 ‘잘 모르겠음’ 답지에 가중치를 부여해서 차별점수화를 적용하는 것이 피험자 능력추정의 정확성에 양호하게 작용하지 않음을 알 수 있으며, ‘잘 모르겠음’ 답지만 포함되었을 때 피험자는 더욱 신뢰로운 문항 응답반응을 보여 피험자의 능력이 더욱 정확하게 추정되는 것으로 나타났다. 여섯째, ‘잘 모르겠음’ 답지가 포함된 검사 집단에서 ‘잘 모르겠음’ 답지를 신뢰롭게 활용하여 문항의 양호도를 높이는데 작용하는지를 확인하는 다른 방법으로 ‘잘 모르겠음’ 답지의 응답 비율을 분석하였으며, 문항 난이도 범주와 피험자 능력 수준에 따라 비교하였다. 문항 난이도 범주별로는 문항이 어려울수록 ‘잘 모르겠음’ 답지에 응답을 많이 하였고, 쉬운 문항에 대해서는 ‘잘 모르겠음’ 응답 비율이 줄어든 것으로 나타났다. 피험자 능력 수준에 따라서는 능력이 낮을수록 ‘잘 모르겠음’ 답지를 많이 사용하였으며, 높은 능력을 가진 피험자는 이에 비해 더 낮은 비율이 ‘잘 모르겠음’ 답지를 선택하였다. 또한, ‘잘 모르겠음’ 답지만 포함된 검사보다 ‘잘 모르겠음’ 답지가 포함되고 ‘잘 모르겠음’ 답지에 가중치를 같이 적용한 검사에서 모든 난이도 범주에서 ‘잘 모르겠음’ 답지의 활용도가 조금 높게 나타났다. 이러한 결과는 ‘잘 모르겠음’ 답지가 포함되어 피험자들이 ‘잘 모르겠음’ 답지를 적절히 활용함으로써 추측의 비율이 감소하고 이로 인해 검사 문항의 양호도가 증가함을 의미한다. 본 연구 결과를 통해, 선다형 문항에 ‘잘 모르겠음’ 답지와 ‘잘 모르겠음’ 답지에 대한 가중치 부여를 함께 적용하는 것보다 ‘잘 모르겠음’ 답지만을 추가하였을 때, 문항의 질이 더 향상되는 것을 확인할 수 있었으며, ‘잘 모르겠음’ 답지가 추측에 의해 정답을 맞힐 확률을 줄이고 피험자의 능력을 보다 정확하게 추정할 수 있도록 하여 양질의 문항을 제작하는데 도움이 된다는 것을 알 수 있었다. 따라서, ‘잘 모르겠음’ 답지가 교육 현장에서 적용될 수 있도록 다양한 검사에서 적용가능성을 검토하는 지속적인 연구가 필요하며, 학생들로 하여금 자신의 능력에 맞게 문항의 답을 선택하고, 모르는 문항이 있을 때 추측에 의해 답을 선택하는 대신 ‘잘 모르겠음’ 답지를 활용하도록 교육하는 것이 바람직할 것이다.;Test results are used as the basis for estimation the educational effects, the solution of educational problems, the improvement of education, selection and placement. The tests importantly function to both personal and social aspects and it is important to construct items and tests of high quality for the appropriate interpretation and use of test results. The multiple-choice format allows for more objective assessment because it eliminates bias in scoring. However, random guessing is a serious problem associated with the use of multiple-choice format. The primary purpose of this study is to investigate the effects of don't know response option and differential weighting for guessing or not on the quality and test characteristic of multiple-choice format. This study targeted 826 middle school students, they were divided into equivalent characteristic three groups. Three forms of each test unit were prepared. The group 1 took forms containing items with five responses and the group 2 took forms which had an additional response of I don't know, while the group 3 took forms with don't know response option and differential option weighting scoring. It is applied to assign to don't know response option a weight equal to '1/number of alternatives' for differential option weighting scoring. The results are as follows; first, the mean score of test with no option tended to be highest compared to tests with other experimental conditions. This result means the probability to choose the correct answer by guessing is reduced in case of tests with don't know option or weight for don't know option. Second, the most item discrimination indices obtained from the test to contain don't know option were highest and they were lowest in the test with no option. Also, they were higher in case that gave zero point for 'don't know' response option after adding 'don't know' option and informing the fact to get more advantageous score for no guessing behavior(type C-1) than case that applied differential option weighting scoring through how to assign to don't know response option a weight equal to '1/number of alternatives'(type C-2). It is possible to get an information that 'don't know' option have influence on the improvement of item discrimination indices through this result. Also, it shows that the item discrimination indices are not improved using differential option weighting scoring. Third, the items of test with no option were most difficult and the items of other test were a little easier. But, the difference was small and not significant, so the experimental conditions of this research weightily didn't affect the item difficulty indices. Fourth, the highest guessing level of the items were computed in the test with no option. The guessing level of the items of type 1 was similar to the test with 'don't know' option and compared to the test with no option, the guessing level of the items of both test were decreased. These facts mean to contain 'don't know' response option causes the reduction of guessing level of the items. Fifth, the values to imply the accuracy of examinees' ability estimates such as standard error of the ability estimates and information function were also highest in the test with 'don't know' option. These values were not higher in the test(type C-1 and C-2) applied differential weighting scoring for guessing or not guessing through how to assign to don't know response option a weight equal to '1/number of alternatives' than the test with 'don't know' option. It means differential weighting scoring for guessing or not guessing don't have an effect on the accuracy of ability estimates, and ability of examinees is more accurately estimated because many examinees reliably response to test when test items only contain 'don't know' option. Sixth, to investigate that to contain 'don't know' response option causes the improvement for quality of items, proportion of 'don't know' response was analyzed. The proportion of 'don't know' response was high in difficult items and examinees with low ability. This result shows examinees rightly and reliably use 'don't know' response option, so the quality of item is increase. In conclusion, the addition of a 'don't know option' reduced guessing and increased the accuracy of measuring ability more than the addition of a 'don't know' response option and weight of '1/number of alternatives' for don't know response. Therefore, researches related to 'don't know' option in differential characteristic test need to be performed continuously.