'모든 것이 정답' 혹은 '정답 없음' 답지를 포함하는 선다형 문항의 문항특성과 검사특성 분석

Abstract

본 연구의 목적은 대학수학능력시험과 대학수학능력시험 실험평가 문항을 자료로 하여 선다형 문항 중 '모든 것이 정답' 또는 '정답 없음' 답지를 포함하는 문항들의 문항특성과 검사특성을 분석하여 이런 유형의 문항들이 피험자의 능력을 신뢰성 있게 추정할 수 있는 문항 즉 양호한 문항인지 알아보고 정답형 문항의 문항특성, 검사특성과 비교하는 데 있다. 본 연구에서는 1994학년도 제 1,2차 대학수학능력시험 전체 응시자들 중 각기 1,000명씩의 응답 자료와 1992년에 실시된 대학수학능력시험 제 6,7차 실험평가의 전체 응시자들 중 각기 999명씩의 응답 자료를 무선표집하여 연구 자료로 삼았다. 이 자료들을 연구자료로 선정한 것은 대학입학지원시 대부분의 학생이 대학수학능력시험을 치르기 때문에 다양한 능력 분포의 많은 피험자들의 응답 자료를 이용할 수 있기 때문이다. 또한 이 자료들에는 '모든 것이 정답' 혹은 '정답 없음' 답지가 정답으로 사용된 문항과 오답으로 사용된 문항이 모두 포함되어 있으므로, 이 유형의 문항들의 문항특성과 검사특성을 분석할 수 있을 뿐 아니라, '모든 것이 정답' 혹은 '정답 없음' 답지가 정답으로 사용된 문항과 오답으로 사용된 문항의 문항특성과 검사특성이 유사한가 다른가를 비교하여 볼 수 있기 때문이다. 본 연구에서는 문항반응이론을 기초로 3-모수 로지스틱 모형을 적용, PC-BILOG 3 컴퓨터 프로그램의 PHASE Ⅱ에서, 주변최대우도추정법(Marginal Maximum Likelihood Estimation)으로 문항난이도, 문항변별도, 문항추측도를 추정하였고, PC-BILOG 3 컴퓨터 프로그램의 PHASE Ⅲ에서 각 문항마다 평균 문항정보함수를 산출하였다. 본 연구의 연구결과는 다음과 같다. 첫째, 1992년도 대학수학능력시험 제6차, 제7차 실험평가와 1994학년도 제1차, 제2차 대학수학능력시험에서 '모든 것이 정답' 혹은 '정답 없음'답지를 포함한 14개 문항들의 평균 문항변별도는 높은 편으로, 같은 시험에 출제된 정답형 문항들만의 평균 문항변별도보다 약간 높았다. 그러나 문항 각각을 놓고 볼 때 '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 14개 문항들의 문항변별도는 일관성있는 경향을 보이지는 않았다. 둘째, 문항난이도에 있어서, '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 문항들은 대체로 높은 능력의 피험자들이 맞힐 수 있는, 어려운 문항으로 분석되었다. 한편 '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 문항들은 동일한 검사에 출제된 정답형 문항들에 비해 매우 어려웠다. 셋째, 분석 대상인 14개 문항은 전반적으로 문항추측도가 낮은 편으로 이 문항들의 평균 문항추측도는 정답형 문항들만의 평균 문항추측도보다 낮았다. 넷째, '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 각 문항들은 공통적으로 평균 문항정보함수가 낮았고, 이와 같은 결과는 '모든 것이 정답' 혹은 정답 없음' 답지를 포함한 문항들을 통해, 재고자 하는 피험자의 능력특성을 정확하게 추정할 수 없었다는 것을 의미한다. 이 문항들의 평균 문항정보함수의 평균값은 정답형 문항들의 평균 문항정보함수의 평균값보다 낮았다. 한편 분석 대상인 14개의 문항을 유형별로 나누어, '모든 것이 정답' 혹은 '정답 없음' 답지가 정답으로 사용된 경우와 오답으로 사용된 문항특성과 문항정보함수를 분석하고 각각을 비교한 결과는 다음과 같다. 첫째, 문항변별도의 측면에서 볼 때, '모든 것이 정답' 답지가 정답으로 사용된 문항이나 오답으로 사용된 문항과 '정답 없음' 답지가 정답으로 사용된 문항이나 오답으로 사용된 문항들 각각의 문항변별도는 '정답 없음' 답지가 오답인 경우를 제외하고는 답지 유형별로 일관적인 경향성을 보이지 않았지만, 평균적으로는 적절하거나 높은 수준의 문항변별도를 보였다. '정답 없음' 답지를 포함한 문항들은 그것이 정답이든 오답이든 간에 '모든 것이 정답' 답지를 포함한 문항들보다 평균 문항변별도가 높았다. 둘째, 문항난이도의 측면에서 '모든 것이 정답'혹은 '정답 없음' 답지가 포함된 문항들은 이 답지들이 정답이든 오답이든 어렵거나 매우 어려운 수준이었다. 한편 '모든 것이 정답' 답지가 정답인 문항들은 '모든 것이 정답' 답지가 오답인 문항들보다 확연히 어려운 경향을 보였다. 셋째, '모든 것이 정답', 그리고 '정답 없음'답지가 정·오답으로 사용된 문항들 모두 평균적으로 문항추측도가 그리 높지 않았다. 넷째, '모든 것이 정답' 혹은 '정답 없음'답지가 정답인 경우나 오답인 경우 모두 평균 문항정보함수가 낮았고 '정답 없음' 답지가 정답인 경우엔 평균 문항정보함수가 특히 더 낮았다. 본 연구의 결과, 대학수학능력시험 제6차, 제7차 실험평가와 1994학년도 제1차, 제2차 대학수학능력시험 문항들 중, '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 문항들은 어려운 문항이지만, 측정하고자 하는 피험자의 능력을 정확하게 측정해 주지 못하는 문항들로 분석되었다. 본 연구는 대학수학능력시험 제 6차, 제 7차 실험평가와 1994학년도 제 1차, 제 2차 대학수학능력시험 응답 자료를 연구의 자료로 삼았기 때문에 실험 연구와는 달리 분석 대상인 '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 문항의 수가 부족한 감이 있다. 따라서 본 연구 결과를 '모든 것이 정답' 혹은 '정답 없음' 답지를 포함한 모든 문항들에 대해 적용, 일반화시킬 수는 없고 대학수학능력시험 제6차, 제7차 실험평가와 1994학년도 제1차, 제2차 대학수학능력시험에 출제된 '모든 것이 정합' 혹은 '정답 없음' 답지 포함 문항의 문항특성과 검사특성을 규정하는 것에 그친다는 제한점을 갖는다. 그러므로 향후에는 실험상황을 설정하여 '모든 것이 정답'혹은 '정답 없음' 답지를 포함한 문항들의 수를 충분히 확보, '모든 것이 정답'혹은 '정답 없음' 답지를 포함한 문항들의 문항특성과 검사특성을 비교하는 연구가 후속되어야 할 것이다.;The purposes of this study is to investigate the item and test characteristics including certain types of response alternatives :'all of the above' or 'one of the above' also estimate the item information function of these items. For this study, the data of 1,000 examinees were randomly selected from the data sets of the College Scholastic Ability Test(CSAT) in 1994, and also the data of 999 examinees selected from each of the total examinees in the sixth and the seventh tryout of CSAT in 1992. The total number of items including 'all of the above' or 'none of the above' alternatives are fourteen in the sixth and the seventh tryout of CSAT in 1992 and the first and the second CSAT in 1994. Item response theory is applied to analyze the item discrimination, item difficulty, item guessing, and item information function. 3-parameter logistic model was selected. The discrimination indices, difficulty level, guessing level of the items and the item information function were estimated by using MMLE through PC-BILOG 3 computer program. This study found that item discrimination of the 14 items are middle or high. The mean of the item discrimination of the 14 items was higher than that of the rest of the items. The 14 items showed high difficulty level, and also were more difficult to choose the correct answer than the items containing only substantive response alternatives. The mean of the guessing level of the items which contain 'all of the above' or 'none of the above' response alternatives was lower than that of the rest of the items. The item information function of 14 items were generally lower than that of the other items. Otherwise, the items including 'all of the above' alternatives were appeared appropriate in terms of item discrimination. Items including 'none of the above' response alternatives got high item discrimination. The 14 items which contain 'a1 of the above' or 'none of the above' alternatives were found difficult, especially the items containing 'none of the above' alternatives as the correct answer were found very difficult. Except when 'none of the above' alternatives were the wrong answer, the guessing level was low whenever. The item information function of the items containing 'all of the above' or 'none of the above' was lower than that of the rest items containing only substantive alternatives. The result of this study can't be generalized for all items including 'all of the above' or 'none of the above' because the data was limited to the 14 items in the sixth and the seventh tryout of CSAT in 1992 and the first and second CSAT in 1994.