검사속도성 여과방법 비교

Abstract

본 연구의 목적은 첫째, 능력검사에서 검사시간 부족으로 인한 속도화가 심리측정학적 특성에 미치는 영향을 확인하고, 둘째, 검사속도성 영향을 제거하는 4가지 여과방법을 탐색한 후, 셋째, 4가지 여과방법이 실제 검사속도성을 효과적으로 제거하는지 확인하고 여과방법 간에 제거효과의 차이가 있는지 비교하는 것이다. 본 연구에서는 50개 문항으로 구성된 언어유추검사를 사용하였고 검사 제한시간에 따라 세 가지 검사를 제작하였다. 세 가지 검사는 전국의 중학교 2학년생에게 실시되었고 각 검사의 표본수는 1,147명, 1,136명, 1,122명이다. 검사속도성이 심리측정학적 특성에 미치는 영향을 확인하고자 세 가지 검사에 대해 고전검사이론으로 평가한 문항의 기술통계와 내적합치도 분석을 수행하였고 문항반응이론으로 평가한 문항모수치, 문항특성곡선의 면적 근사값, 검사특성곡선 및 검사정보함수를 추정하였다. 또한 세 가지 검사 중 가장 속도화된 검사에 대해 검사속도성 영향을 제거하기 위한 여과방법으로서 수리적 접근(베이지안 추정법에 의한 Two-Class Mixture Rasch 모형과 조건부 최대우도추정법에 의한 Two-Class Mixture Rasch 모형), 수검자 여과방법(수정된 Bejar의 지수[Modified Bejar's Person-Index: MBPI]의 80%ile 방법) 그리고 문항반응 여과방법(최소일치율 60% 방법)을 적용하여 이를 분석하였다. 다음으로는 조건부 최대우도추정법에 의한 Two-Class Mixture Rasch 모형의 활용가능성을 확인하고자 두 가지 추정법에 의한 집단분류 일치도를 분석하였다. 그리고 본연구에서 제안한 수정된 Bejar의 지수와 문항반응 여과방법의 적절한 준거점수를 설정하고자 베이지안 추정법에 의한 Two-Class Mixture Rasch 모형과의 집단분류 일치도를 조사하였다. 마지막으로 4가지 여과방법의 검사속도성 제거효과를 평가하고자 각 여과방법에 의해 분류된 비속도화된 자료의 검사특성을 분석하였다. 본 연구의 결과는 다음과 같다. 첫째, 검사 제한시간 조건에 따른 세 가지 검사의 고전검사이론 및 문항반응이론으로 평가한 검사특성 분석결과, 검사 제한시간이 줄어들수록 검사의 속도화는 더 커졌다. 고전검사이론으로 평가한 검사특성 분석결과, 검사가 속도화될수록 문항평균 및 문항난이도가 낮아지고, 탐색적 요인분석 결과에서 검사가 측정하고자하는 언어유추능력 외에 제 2의 요인인 속도요인이 출현하였다. 그러나 검사의 내적합치도에는 의미있는 영향이 없었다. 그리고 문항반응이론으로 평가한 검사특성 분석결과, 검사가 속도화될수록 문항난이도와 문항변별도가 과잉추정되었고 문항특성곡선의 면적이 과소추정되었다. 그리고 검사특성곡선이 중간 능력대의 수검자 진점수를 과소추정하였으며 검사정보함수는 과잉추정되었다. 또한 검사가 충분한 시간에 시행되지 않고 제한시간을 두었을 때 단일차원성 가정이 위배되었다. 그러나 문항추측도에는 뚜렷한 영향이 없었다. 둘째, 각 여과방법에 의한 수검자 분류결과를 보면, 전체 1,122명중 10.1%(113명)∼58.8%(660명)가 속도화 집단으로 분류되었다. 이러한 집단분류 결과를 바탕으로 Two-Class Mixture Rasch 모형의 두 가지 추정법에 의한 집단분류 일치도는 .956으로 매우 높았다. 그리고 베이지안 추정법에 의한 Two-Class Mixture Rasch 모형 방법과 일치도가 가장 높은 수정된 Bejar의 지수와 문항반응 여과방법의 준거점수는 각각 80ile과 최소일치율 60%였다. 셋째, 각 여과방법에 의해 분류된 비속도화 집단의 문항 기술통계치, 신뢰도, 문항모수 추정치, 검사특성곡선, 검사정보함수와 같은 검사특성이, 충분한 검사시간 조건에서 치루어진 검사에서 얻은 검사특성에 근접하는 정도에 따라 검사속도성 제거효과를 평가하였다. 고전검사이론과 문항반응이론으로 평가한 검사특성 분석결과, 모든 여과방법들은 검사속도성 제거효과가 있었지만 특히 두 가지 추정법에 의한 Two-Class Mixture Rasch 모형과 MBPI 80%ile 방법의 여과효과가 우수하였다. 고전검사이론으로 평가한 검사특성 분석결과, 모든 여과방법에 의해 문항평균(문항난이도)이 증가하였다. 문항반응이론으로 평가한 검사특성 분석결과, 모든 여과방법에 의해 검사속도성 제거효과가 양호하였다. 종합적으로 보면, 두 가지 추정법에 의한 Two-Class Mixture Rasch 모형과 MBPI 80%ile 방법에 의해 문항난이도, 문항변별도 그리고 검사정보함수의 과잉추정이 대부분 제거되었고, 검사특성곡선에 의한 중간 능력대의 수검자 진점수가 과소추정되는 현상과 문항특성곡선의 면적의 과소추정도 줄어들었다. 그리고 속도화 검사의 단일차원성 가정 위배도 제거되었다. 본 연구의 결과를 통해 능력검사의 개발과 사용 시 다음과 같은 시사점을 발견하였다. 첫째 능력검사를 제작할 때 충분한 검사시간이 설정되어야 하고 검사매뉴얼에 검사시간 설정과 관련된 조사과정 및 설정기준이 구체화되어야 한다. 둘째, 부득이 하게 검사자료가 검사속도성에 의해 영향을 받는다면 통계적 방법에 의해서라도 검사속도성 영향이 제거되어야 한다.;This study aimed to investigate the effects of test speededness on various psychometric properties of an achievement test, to examine four filtering methods of test speededness, and to evaluate and compare the usefulness of the four filtering methods when test speededness existed. To accomplish the goals, a 50-item verbal analogy test was developed and administered to three groups of middle school students each consists of 1,147, 1,136, and 1,122, respectively. The three groups were tested under different time conditions, that is, almost no time-limit condition as in a power testing condition(PT), a generous time-limit condition(GT), and a strict time-limit condition(ST). To examine the effects of test speededness on various psychometric properties based on testing time-limits, both classical test theory(CTT)-based and item response theory(IRT)-based analyses were conducted. In the CTT-based analyses, item difficulty and discrimination, and test reliabilities of the three testing conditions were analyzed. In the IRT-based analysis, three data sets were separately calibrated and then the item parameter estimates among three data sets were placed on the same scale. After item parameters were linked, various psychometric properties including test characteristic curves and test information functions were calculated for three data sets. The essential unidimensionality tests were also conducted on the PT, GT, and ST tests. To evaluate the usefulness of four filtering methods on speeded tests, first of all, four filtering methods of test speededness using the most speeded data set(ST test) were analysed. Four filtering methods were (1) Two-Class Mixture Rasch Models using Bayesian Estimation method(Two-Class MRM-BaE method), (2) Conditional Maximum Likelihood Estimation method(Two-Class MRM-MLE method), (3) Modified Bejar Person-Index(MBPI method), and (4) the filtering method of Item Response(IR method). To explore the practical advantage of the Two-Class MRM-MLE method, the agreement index, the Kappa value between Two-Class MRM-BaE method and Two-Class MRM-MLE method was calculated. To set up the criteria for MBPI and IR methods adopted in this study, the Kappa value between MBPI and Two-Class MRM-BaE methods was calculated. The Kappa value between IR and Two Class MRM-BaE methods was also obtained. Finally, To compare the effectiveness of four filtering methods on ST test, the changes of psychometric properties on four nonspeeded data sets were analyzed. The results of this study were as follows: First, in the result of psychometric properties using both CTT-based and IRT-based analyses on three data sets depending on test time-limit condition, generally the more test time-limit was decreased, the more test was speeded. In the CTT-based analysis, item difficulties got lower in GT and ST tests compared to PT test. A secondary speeded factor except the primary ability factor was observed in the result of exploratory factor analysis in GT and ST tests. but there was no obvious change on reliability coefficients among three tests. In the IRT-based analysis, if test time-limit got shorter, a-parameter estimates and b-parameter estimates were overestimated at the end of the test and the approximate values of area below ICCs were underestimated at the end of the test. TCCs showed that medium ability examinees' true scores was underestimated in GT and ST tests compared to PT test. TIFs of GT and ST tests were inflated compared to that of PT test. According to the result of DIMTEST analysis, the unidimensional assumption was satisfied in PT test, but it was violated in GT and ST tests. On the other hand, there were no differences for c-parameter estimates among three tests. Second, The Kappa value between Two-Class MRM-BaE method and Two-Class MRM-MLE method was .956 and it could be interpreted very high. MBPI and IR methods of the highest Kappa values were the 80%ile method and the minimum agreement portion of 60% method(MAP of 60% method). Third, Depending on how various psychometric properties for four nonspeeded data sets gotten through four filtering methods are similar to those of PT test, the removing effect of test speededness by four filtering methods was compared. As a result, all four filtering methods had some removing effect of test speededness, and three methods except MAP of 60% method showed good removing effects. In the CTT-based analysis, item means(item difficulties) by four filtering methods got higher. In the IRT-based analysis, test speededness was eliminated by most four filtering methods. Especially, Two-Class MRM-BaE method, Two-Class MRM-MLE method and MBPI 80%ile method removed overestimations of a-parameter estimates, b-parameter estimates and TIF. These methods removed underestimations of medium ability examinees' true scores, of approximate values of area below ICCs and of the violation of unidimensional assumption. Through this study, it is necessary to suggest the following implications in the development and the use of power test. First, power test need to be administrated in enough test-time, it has to be informed research process in detail and criteria related to test-time's set up in technical report and user's manual. Second, if test is speeded inevitably, the effect of test speededness has to be removed using statistical methods.