피험자 적합도(Person-Fit) 분석을 이용한 문항반응형태 분류

Abstract

The purpose of this study is to classify the types of misfitting response patterns of examinees using person-fit statistics. This study also investigates any cognitive and affective variables expected to have significant influences on producing misfitting response patterns. For the study, two hundred and fifty-three students of 11th grade were sampled from randomly selected high schools. Finally, two hundred and eleven students' item responses to the item in the test and questionnaires were analyzed. The overall results were as follows; 1. Person-fit analysis based on the Rasch-model indicates that fit statistics are correlated with the ability of examinees negatively. 2. This study found the significant difference between the fitting group and the misfitting group for ability, total score, attention and exam-taking skill. 3. Correlation analysis of person-fit statistics, total score, and cognitive, affective variable indicates that person-fit statistics and total score are correlated negatively. On the other hand, person-fit statistics and attention, study habits are correlated positively, and also total score and attention, study habits, exam-taking skill correlated positively. 4. The analysis of misfitting response patterns based on the study of Meijer(1996), Wright & Linacre(l994) indicates examinees of higher ability show misfitting response pattern caused by 1) carelessness or processing error, 2) sleeping or test anxiety, 3) rushing, 4) plodding. On the other hand, examinees of lower ability show misfitting response patterns caused by 1) carelessness or processing error, 2) guessing, 3) cheating, 4) response set, 5) plodding, 6) caution. In addition, misfitting response patterns seem to be of the extremely creative or idiosyncratic examinees found out in the responses. 5. An analysis of the cognitive and affective variables of the examinees with high ability correlated misfitting response patterns indicates 1) the examinee showing misfitting response patterns by reason of carelessness or processing error indicates low attention. 2) the examinee showing misfitting respose patterns by reason of sleeping or test anxiety indicates high test anxiety. 3) the examinee showing misfitting respose patterns by the reason of rushing indicates high test anxiety, poor skill of taking exam. 4) the examinee showing misfitting respose patterns by reason of plodding indicates poor skill of taking exam. On the other hand, in case of the examinee with low ability, 1) the examinee showing misfitting respose patterns by carelessness or processing error indicates low attention, poor exam-taking skill. 2) the examinee showing misfitting respose patterns by guessing indicates inefficient study habits. 3) the examinee showing misfitting respose patterns by cheating indicates high test anxiety, low attention, inefficient study habits and poor exam-taking skill. 4) the examinee showing misfitting respose patterns by response set indicates high test anxiety, low attention, inefficient study habits, 5) the examinee showing misfitting respose patterns by plodding indicates inefficient study habits, poor exam-taking skill. 6) the examinee showing misfitting response patterns by caution indicates inefficient study habits and poor exam-taking skill. But, misfitting response patterns by extremely creative examinee or idiosyncratic examinee have no special regard to exanminee's cognitive, affective variables. 6. For the most part, The examinee with higher ability seem to show unexpected responses due to careless or processing error, While the examinee with lower ability shows unexpected responses due to guessing. This study suggests that analyzing data based on measurement method is useful to identify carelessness and processing error of the examinee with higher ability and to restrict guessing of the examinee with lower ability. Moreover, this study implies that to improve instruction-learning, the training of reduction of test anxiety, improvement of attention, efficient study habits and exam-taking skill is necessary.;본 연구의 목적은 문항반응이론(IRT)에 기초한 피험자 적합도(person-fit) 분석을 이용하여 부적합한 문항반응형태를 유형화하고 이러한 반응형태를 보이는 피험자의 인지적ㆍ정의적 특성을 분석함으로써 피험자의 능력에 대한 정확한 진단 및 교수-학습 개선을 위한 정보를 제공하는 데 있다. 이와 같은 연구목적을 위하여 설정된 연구문제는 다음과 같다. 첫째, Rasch모형에 근거하여 피험자 적합도(person-fit) 지수를 구하고, 피험자 적합도(person-fit) 지수와 검사총점 및 문항반응형태와 관련이 있다고 판단되는 피험자의 인지적ㆍ정의적 특성변인(검사불안, 주의력, 학습습관, 시험기술)과의 관계를 분석한다. 둘째, 피험자 적합도 지수에 근거하여 적합한 문항반응집단과 부적합한 문항반응집단을 구분한 후, 두 집단 피험자의 능력모수치, 검사총점 및 인지적ㆍ정의적 특성변인 간의 차이를 분석한다. 셋째, 부적합한 문항반응집단의 문항반응형태를 Meijer(1996)와 Wright&Linacre(1994)의 부적합한 문항반응 분류 기준에 근거하여 유형화하고, 각 유형과 관련된 피험자의 인지적ㆍ정의적 특성변인을 분석한다. 위와 같은 연구문제에 의하여, 본 연구에서는 피험자 적합도를 이용하여 부적합한 문항반응형태를 유형화하고, 각 유형과 관련된 피험자의 인지적ㆍ정의적 특성변인을 분석하기 위하여 서울시내에 소재하고 있는 Ⅰ고등학교 인문계열 2학년 남녀 학생 253명을 연구대상으로 선정하였다. 이들을 대상으로 검사불안, 주의력, 학습습관, 시험기술을 측정하기 위한 설문지를 배부하였으며 212명에 대한 인지적ㆍ정의적 특성에 관한 설문결과와 수학 성취도 검사에 대한 응답결과를 연구자료로 이용하였다. 본 연구를 위한 자료 분석 결과는 다음과 같다. 첫째, Rasch 모형에 의한 피험자 적합도(person-fit 분석 결과, 문항반응이론에 의해 추정된 피험자의 능력모수치와 적합도 지수는 통계적으로 유의한 부적상관이 있었다. 둘째, 적합한 문항반응집단과 부적합한 문항반응집단의 능력모수치, 검사총점 및 문항반응과 관련이 있는 피험자의 인지적ㆍ정의적 특성변인의 차이에 대한 분석 결과, 피험자의 능력모수치, 검사총점 및 주의력과 시험기술 변인 간에 통계적으로 유의한 차이가 있었다. 셋째, 피험자 적합도 지수와 검사총점 및 문항반응과 관련이 있는 피험자의 인지적 정의적 특성변인과의 상관관계 분석 결과, 적합도 지수와 검사총점이 통계적으로 유의한 부적 상관이 있었으며, 피험자의 인지적ㆍ정의적 특성변인 중에서는 주의력과 학습습관이 적합도 지수와 통계적으로 유의한 부적 상관을 나타냈다. 또한 경사총점과 피험자 특성변인과의 상관관계에 있어서는 주의력, 학습습관, 시험기술 변인이 통계적으로 유의한 정적 상관을 나타냈다. 넷째, 부적합한 문항반응집단으로 분류된 피험자들의 문항반응형태를 Meijer(1996)와 Wright ＆ Linacre(1994)의 부적합한 문항반응 분류 기준에 근거하여 유형화한 결과, 능력이 높은 피험자의 부적합한 반응유형은 (1) 부주의(carelessness)와 문제풀이 과정에서의 오류(processing error)에 의한 반응유형, (2) 지나친 긴장 및 수면부족(sleeping)에 의한 반응유형, (3) 조급한 성격(rushing)에 의한 반응유형, (4) 신중한 성격(plodding)에 의한 반응유형으로 분류되었다. 능력이 낮은 피험자의 부적합한 반응유형은 (1) 부주의와 문제풀이과정에서의 오류에 의한 반응유형, (2) 추측(guessing)에 의한 반응유형, (3) 부정행위(cheating)에 의한 반응유형, (4) 특정 답지 반응경향성(response set)에 의한 반응유형, (5) 지나치게 신중한 성격에 의한 반응유형, (6) 지나치게 조심스러운 성격(caution)에 의한 반응유형으로 분류되었다. 능력에 관계없이 나타나는 부적합한 문항반응유형 중 특이한 사고 및 과도한 문제해석에 의한 부적합한 반응유형은 발견할 수 있었으나, 기재오류(clerical error)에 의한 반응유형은 발견할 수 없었다. 다섯째, 부적합한 문항반응유형과 관련 있는 피험자의 인지적ㆍ정의적 특성변인에 대한 분석결과, 능력이 높은 피험자에게서 나타나는 부적합한 문항반응유형과 관련된 특성변인은 다음과 같다. (1) 능력이 높으면서 부주의와 문제풀이과정에서의 오류에 의해 부적합한 반응을 보이는 피험자들은 적합한 문항반응집단에 비해 주의력이 낮은 경향이 있었으며, (2) 지나친 긴장이나 수면부족에 의해 부적합한 문항반응을 보이는 피험자들은 적합한 문항반응집단에 비해 높은 검사불안을 지니고 있었다. 또한 (3) 조급한 성격에 의해 부적합한 반응을 보이는 피험자들은 검사불안이 높고 시험기술이 부족한 경향이 있었으며, (4) 지나치게 신중한 성격에 의해 부적합한 반응을 나타내는 피험자들은 부족한 시험기술을 지니고 있었다. 반면, 능력이 낮은 피험자의 부적합한 문항반응유형과 관련된 특성변인에 대한 분석결과는 같다. (1) 능력이 낮으면서 부주의나 문제풀이 과정에서의 오류에 의해 부적합한 반응을 보이는 피험자들은 적합한 문항반응집단에 비해 주의력이 낮고 시험기술이 부족한 경향이 있었으며, (2) 추측에 의해 부적합한 반응을 보이는 피험자들은 비효율적인 학습습관을 가지고 있는 것으로 나타났다. 또한 (3) 부정행위에 의해 부적합한 문항반응을 나타내는 피험자들은 높은 검사불안과 낮은 주의력 및 비효율적인 학습습관과 부족한 시험기술을 지니고 있는 것으로 나타났으며, (4) 문항의 내용이나 난이도 수준에 상관없이 특정 답지만을 선택하여 응답하는 피험자들은 높은 검사불안과 비효율적인 학습습관 및 부족한 시험기술을 지니고 있었다. (5) 지나치게 신중한 성격에 의해 뒷부분의 문제에 제대로 응답하지 못하는 것으로 분류된 피험자들은 비효율적인 학습습관과 부족한 시험기술을 지니고 있었으며, (6) 지나치게 조심스러운 성격에 의해 부적합한 문항반응을 나타내는 피험자들 역시 비효율적인 학습습관과 부족한 시험기술을 지니고 있는 것으로 나타났다. 능력의 높고 낮음에 관계없이 특이한 사고 및 과도한 문제해석에 의해 부적합한 문항반응을 보이는 피험자들의 경우, 매력적인 오답보다는 전체 피험자의 응답 비율이 낮은 오답을 선택하는 경향이 있었으며, 인지적ㆍ정의적 특성변인 중 뚜렷하게 관련 있는 변인은 찾을 수 없었다. 부적합한 문항반응유형 중 가장 많은 비율을 차지하는 유형은, 능력이 높은 피험자의 경우 부주의와 문제풀이과정에서의 실수에 의한 반응유형이었으며, 능력이 낮은 집단의 경우에는 추측에 의한 반응유형이었다. 또한 검사불안, 주의력, 학습습관 및 시험기술 등은 각각의 부적합한 문항반응형태에 영향을 미치는 변인으로 나타났다. 피험자의 문항반응형태는 검사문항의 난이도와 검사길이에 의해 영향을 받는다. 그러나 본 연구에서 분석자료로 사용한 수학과 성취도 검사는 비교적 평이한 수준의 문항들로 구성되어 있어 다양한 문항반응유형을 탐색하는데 어려움이 있었다. 이러한 제한점에도 불구하고 문항반응형태에 대한 분석을 통하여 피험자의 특성을 파악하고자 하는 본 연구의 시도는 피험자 개개인의 잘못된 문제 해결을 진단하고 그에 타당한 교육적 처방을 모색하는데 도움을 줄 것이다.