문항배열순서와 성별이 피험자 능력모수 추정오차와 시험불안에 미치는 영향

Abstract

The purpose of the study is to investigate whether the item order and examinee sex influence the accuracy of estimation for ability parameters and test anxiety. This study targeted 176 high school students, they were divided into equivalent characteristic three groups. The achievement test on math for 11th grade were divided into three types: the test starting with easy questions and becoming progressively more difficult(Type A); the test starting with difficult questions and proceeding to easier questions(Type B); and the repetition of Type A in order for examinee to feel the item difficulty gap. Three types of test items were assigned to a sample. Examinee's test anxiety was also measured before and after the test. The standard errors of the estimated ability of each examinee were estimated by Item Response Theory(IRT). The results are as follows; first, the effect of the item order and examinee sex on the standard error of the estimated ability were verified through 2-way ANOVA. The main effect of gender was not significant and there were also no significant interaction effects. But, the main effect of item order was significant. The values of the accuracy of estimation for ability parameter such as standard error of the ability estimates were highest in the test starting with easy questions and the becoming progressively harder(Type A). These values were not higher in the test starting with difficult questions and proceeding to easier questions(Type B) or the repetition of Type A in order(Type C). Second, the effect of the item order and examinee sex on calibrated post-test anxiety through 2-way ANCOVA. Also, the main effect of gender was not significant and there were no significant interaction effects. But, the main effect of item order was significant. The calibrated post-test anxiety was lowest in the test starting with easy questions and the becoming progressively harder(Type A). Third, calibrate post-test anxiety have an effect on the accuracy of ability estimates. It means that the lower examinee calibrate post-test anxiety is, the more accurate estimation for ability parameter is. But, the influence was not so high. In conclusion, the test starting with easy questions and the becoming progressively harder reduced test anxiety and increased the accuracy of measuring ability more than the other two types of test. This study can provide teachers with the practical guideline of producing accurate test. Furthermore, researches related to item order in differential characteristic test need to be continuously performed.;검사는 눈에 보이지 않는 학생의 잠재적 특성을 측정하는 데 사용하는 도구로 평가대상에 대한 정보를 수집하며 다양한 교육적 의사결정의 근거가 된다. 그러므로 검사는 평가대상인 피험자에 대한 정확하고 신뢰로운 정보를 제공해야 한다. 양질의 검사가 제작되기 위해서는 피험자에 대한 세심한 배려를 요구하는데, 문항의 배열에 있어서도 문항난이도를 고려하여 쉬운 문항에서 어려운 문항의 순서로 배열해야 한다. 이처럼 검사의 전반부에 어려운 문항을 배치하지 않는 것은 피험자의 정답반응실패가 수반하는 긴장, 초조함, 불안과 같은 정서적 동요를 방지하기 위해서이다. 즉, 문항난이도를 기준으로 한 문항배열의 순서는 피험자들의 심리상태에 영향을 주어 시험불안을 야기할 수 있으며, 영향력의 정도는 피험자들의 성별에 따라 차이가 날 수 있다. 시험의 수행과정에서 발생한 과도한 시험불안은 피험자들의 본래의 능력에 적합한 응답을 하는 것을 방해하며, 이러한 문항배열을 가진 검사에서 피험자의 능력수준을 추정하려 한다면 그 정확성이 결여될 것이다. 따라서 본 연구는 동일한 문항으로 구성되었지만 문항난이도에 따라 문항배열순서를 달리한 성취도 검사가 피험자의 능력추정과 시험불안에 어떠한 영향을 미칠 수 있는지를 확인하였다. 각 문항배열순서에 따른 검사유형은 쉬운 문항에서 어려운 문항의 순서로의 배열의 A형, 어려운 문항에서 쉬운 문항의 순서로의 배열의 B형, 쉬운 문항에서 어려운 문항을 반복하는 배열의 C형으로 구분하였다. 이를 통해 쉬운 문항에서 어려운 문항의 순서로 배열하는 것이 피험자의 시험불안을 경감시켜주고 능력을 정확히 측정하도록 하는 효과가 있는지 분석하여 보다 양질의 문항을 제작하는 데 실질적으로 효과가 있는 지침인지를 알아보았다. 이 연구를 위해 고등학교 2학년 학생 176명이 각 유형의 수학 성취도 검사에 응시하였다. 피험자를 성별과 계열, 사전능력을 고려하여 세 집단으로 나누고 각각 A형, B형, C형의 성취도 검사에 응답하도록 하였다. 수학 성취도 검사의 피험자별 응답은 이분채점한 뒤 문항반응이론으로 검사결과를 분석하였다. 피험자의 능력모수와 추정오차는 최대우도추정법으로 추정하였고 이때 BILOG-MG 프로그램을 사용하였다. 그리고 동시에 피험자들의 평상시 시험불안을 통제하여 각 유형별 수학 성취도 검사로 발생한 시험불안을 측정하고자, 이 검사를 전후로 하여 세 집단에 동일한 사전·사후 시험불안 검사를 실시하였다. 시험불안 검사는 시험불안에 따른 인지적·정서적·심체적 변화정도를 측정하는 15개 문항을 그 정도에 따라 5점 리커트 척도에 응답하도록 하여, 피험자별로 0점에서 75점 사이에서 사전·사후 시험불안을 나타내었다. 수집된 자료를 통해 A형 성취도 검사에서의 피험자 특성을 B형, C형 성취도 검사에서의 피험자 특성과 비교 분석하여, 다음과 같은 연구결과를 도출하였다. 첫째, 이원분산분석으로 각 문항배열순서와 성별에 따라 피험자의 능력모수 추정오차에 차이가 있는지 살펴본 바, 문항배열순서에 따라서는 피험자 능력모수 추정오차에 차이가 존재하였으나 성별에 따른 차이나 문항배열순서와 성별에 따른 상호작용은 존재하지 않았다. 특히 어려운 문항이나 쉬운 문항으로의 순서로 배열된 B형 성취도 검사를 치른 피험자가 다른 문항배열순서를 가진 검사의 피험자들보다 상대적으로 능력모수 추정오차가 높았으며, A형 성취도 검사를 치른 피험자의 능력모수 추정오차가 가장 낮았다. 따라서 쉬운 문항에서 어려운 문항으로 배열한 순서가 다른 문항배열순서보다 피험자의 능력을 보다 정확하게 추정한다는 점을 알 수 있었으며, 이 때 성별에 따른 차이는 존재하지 않았다. 둘째, 이원공분산분석으로 문항배열순서와 성별에 따라 수학 성취도 검사에 의하여 발생한 시험불안에 차이가 있는지 살펴본 바, 문항배열순서에 따라서는 시험불안의 정도가 차이가 있으나, 성별에 따른 차이나 문항배열순서와 성별의 상호작용에 의한 영향은 존재하지 않았다. 특히 기본형인 쉬운 문항에서 어려운 문항으로 배열한 A형 성취도 검사를 치른 피험자가 다른 문항배열순서를 가진 검사에서의 피험자보다 상대적으로 시험불안이 낮았지만 B형과 C형 성취도 검사를 치른 피험자들은 이에 비하여 시험불안이 매우 높았다. 이것은 B형과 같이 검사 전반부에 난이도가 어려운 문항이 배치되거나 또는 C형과 같이 검사에서 난이도가 급격하게 변화하는 부분이 존재하는 경우에 피험자들이 심리적으로 안정되지 못하여 평상시보다 실패에 대한 불안감을 높게 감지하는 것으로 볼 수 있다. 또한 성차가 존재하여 여학생들이 남학생에 비해 시험불안이 높을 것으로 예상하였으나, 초등학생이나 중학생을 대상으로 이루어진 선행 연구에 비해 피험자들의 연령이 높아 피험자들의 성별에 따른 시험불안의 유의한 차이는 발견되지 않았다. 셋째, 회귀분석으로 시험불안이 피험자의 능력모수 추정오차에 미치는 영향의 정도를 살펴본 바, 전체 피험자에서는 통계적으로 유의하게 시험불안이 높을수록 능력모수 추정오차가 높아짐을 알 수 있었다. 하지만 그 영향력의 정도는 매우 낮았다. 또한 문항배열순서에 따른 피험자 능력모수 추정오차의 영향에 시험불안이 매개효과를 갖는지 살펴보았으나, 그에 따른 매개효과는 유의하지 않았다. 따라서 문항배열순서가 피험자 능력모수 추정오차에 시험불안에는 각각 영향을 미치지만, 능력모수를 추정하는 과정에서 시험불안이 직접적으로 미치는 영향을 적다고 볼 수 있다. 본 연구에서는 문항의 난이도를 기준으로 문항의 배열순서를 다양하게 변형하여 피험자의 특성을 비교하였을 때, 쉬운 문항에서 어려운 문항의 순서로 문항으로의 배열순서가 피험자의 능력을 가장 정확히 추정하고 피험자의 심리상태의 안정감을 줄 수 있으며, 그 과정에는 성차가 존재하지 않음을 확인할 수 있었다. 이를 통하여 본 연구는 문항난이도를 고려한 문항배열순서가 피험자의 능력을 정확히 측정하도록 하는 효과가 있고 더불어 시험불안의 발생 가능성을 줄일 수 있는지를 분석하여, 보다 양질의 검사를 제작하는 데 지침이 될 수 있는지 유용한 기초정보를 제공하고자 했다. 하지만 이러한 연구 결과가 교육 현장에서 보다 체계적으로 적용될 수 있도록 다양한 검사 상황에서의 적용가능성을 검토하는 지속적인 연구가 필요하며, 문항난이도를 전문적으로 예측할 수 있는 훈련과 인프라를 바탕으로 대규모의 표준화검사 뿐 아니라 학급 단위의 성취도 검사에서도 이를 고려한 지침을 바탕으로 검사를 제작하는 것이 바람직할 것이다.