혼합 문항유형 검사의 검사 차원성과 가교문항 구성에 따른 동등화 정확성 비교

Abstract

In recent years, there has been an increased interest in the growth­referenced evaluation and longitudinal study which tracks the personal growth and changes of students. And a mixed-format test containing a mixture of different item formats has been often used in both classroom and large­scale assessment. The formats of items in a mixed­format test are usually categorized into two classes: multiple­choice items and constructed­response items. Mixed­format test represents the trends of recent educational evaluation in that the combination of two item format can allow for the direct and comprehensive measurement of performance skills. But it has been reported that mixed­format test could be multidimensional if the different item formats measure different constructs. When there is a need of the accuracy and equity of comparison in growth ­referenced evaluation and longitudinal study or administrative purpose, the common scale should be a prerequisite to compare the scores of test. Even though mixed­format test is the representative test type in many educational evaluations, the multidimensionality caused by the different characteristics of item formats can affect the accuracy and the stability of mixed­format test equating results using unidimensional models. Therefore, under the various conditions of multidimensionality, the robustness of format effects should be verified and because the constitution of anchor items is related to the representativeness of item format and the number of anchor items. A simulation study was conducted to investigate the accuracy of equating results produced in several anchor test types and the effects of the anchor item number under the unidimensional and multidimensional conditions using IRT equating methods. The employed mixed­format test was assumed to consist of 20 dichotomously scored items for which 3-parameter logistic model is appropriate and 7 polytomous items for which general partial credit model is appropriate. It was assumed that only one mixed­format test form was administered independently to two different groups, old and new group. The items parameters on the new group test scale was transformed to the old group test scale. Two factors of test dimensionality and anchor test type were considered for the simulation study. The combination of the two factors led to 35 conditions, which 5 levels were for the test dimensionality and 7 types for anchor test and under every conditions 4 IRT equating methods were conducted. As a results, considering the constitution of anchor test the single-format type yielded more accurate results than mixed-format type under unidimensional condition but mixed-format type yielded more accurate results under multidimensional conditions. When multidimensionality caused by format effect was increased, in the anchor test type that polytomous items were dominant, values of the squared bias and mean square error for the criterion tended to increase. Comparing the 5 mixed­format anchor test types which 3 of them were representative of total test in item format constitution and 2 of them had dominant item formats, the equating error of the representative anchor test type was smaller than non representative types under the multidimensional conditions. Considering the number of anchor items, three aspects were investigated. First, regardless of format effects, comparing the effect of the number of the anchor items, when the number of the anchor items of single-format was largest in this study, the error decreased under the unidimensional condition. but when the number of the anchor items of mixed­format was smallest, the error tended to decrease under the multidimensional condition. Second, controlling the constitution of item format to be same, the error tended to be decreased as the number of anchor items increased. Third, controlling the number of the anchor items, the three anchor test types which had different item format constitution yielded different accuracy of the equating results under the multidimensional conditions. That is, even though the number of the anchor item was same, the equating error in mixed­format anchor tests which had different item format constitutions showed larger discrepancy as the multidimensionality became larger. Comparing the accuracy of equating methods, with a few expectations, the characteristic curve methods showed more accurate and stable results than moment methods. Especially, the superiority of haebara methods of the test characteristic methods was verified under high multidimensional conditions, however stocking-lord method and mean and sigma method of moment methods yielded poor results with anchor test type where polytomous items were dominant. Mean and sigma method seemed not to be appropriate under the high multidimensional conditions. In conclusion, the investigation of multidimensionality caused by format effect should be conducted before mixed­format equating and if anchor test is constructed to represent format constitution of the total test, it would be helpful to decrease equating error rather than with single-format. And how to consist the different item format in anchor test seems to be more important than increasing the number of anchor items to increase the accuracy of mixed-format test equating results. As with any other simulation study, the findings in this study have some limitations because of unique design for simulation and the characteristics of the evaluation criteria. Therefore, there should be cautions in generalizing the findings to broader situations. In addition, the test data were generated based on real item parameter estimates so that there could be a error which wasn't well controlled. However, the findings of this study can give some guidelines to constitute anchor test when multidimensional mixed­format test equating based on unidimensional IRT model is needed.;최근 교육평가 분야에서는 학생 개인의 성장과 변화를 추적하고 그 의미를 분석하는 연구가 활발하게 이루어지고 있다. 학교와 대단위 성취도 평가에서 많이 사용되고 있는 혼합형 검사는 선다형 문항과 구성형 문항을 동시에 사용하여 학생의 수행능력을 종합적으로 평가할 수 있다는 점에서 교육평가의 동향을 반영하고 있으나 두 문항유형이 다른 구인을 측정할 수 있다는 측정학적 문제를 가지고 있다. 성장참조평가나 종단연구에서 학생의 성취를 비교하기 위해, 나아가 행정적인 목적의 검사점수 비교에 대한 공정성을 유지하기 위해서는 검사 점수들의 공통척도를 구축하는 통계적인 절차인 검사 동등화가 전제되어야 한다. 혼합형 검사는 실제 교육 현장에서 시행되고 있는 대표적인 검사유형이지만 문항유형에 따른 다차원성은 일차원 문항반응이론에 기초한 검사 동등화 결과의 정확성에 영향을 미칠 수 있기 때문에 다차원 조건에서 동등화 결과의 정확성에 대한 확인이 이루어져야 한다. 또한 가교문항을 사용하는 혼합형 검사 동등화에서 가교문항 유형은 가교문항의 대표성과 가교문항 수에 대한 동등화의 기본 조건에 밀접하게 관련되기 때문에 가교문항 유형의 구성에 대한 연구가 필요하다. 이 연구에서는 가교문항 유형에 따른 혼합형 검사의 동등화 결과의 정확성을 일차원 조건과 다차원 조건에서 문항반응이론 동등화 방법을 사용하여 탐색하였다. 가교문항의 문항유형 구성에 대한 대표성이 검사의 다차원성과 관련되어 동등화 결과의 정확성에 어떤 영향을 미치는가를 분석하였고 가교문항 수에 대한 경험적인 조건이 혼합형 검사에도 요구되는가를 탐색하였으며 복합적인 조건에서 동등화 방법들의 안정성과 정확성을 비교하였다. 연구에서 사용된 자료는 실제 문항모수 추정치에 기초하여 생성한 모의자료이며 20개 이분문항과 7개 다분문항으로 구성된 혼합형 검사를 가정하고 두 문항유형의 기대정보함수의 양이 유사하도록 구성하였다. 모수 추정에 있어 선다형 문항인 이분문항에 대해서는 3-모수 로지스틱 모형으로, 구성형 문항인 다분문항에 대해서는 일반화 부분점수모형으로 피험자 능력모수치와 문항 모수치를 추정하였으며 동등화 설계는 가교문항 설계로서 피험자 집단의 능력이 동등하지 않은 것으로 설정하였다. 연구조건으로 문항유형에 따른 검사차원 5개 조건과 가교문항 유형 7개 조건에 따른 35개 조건을 설정하였으며 각 조건에서 4개 문항반응이론 동등화 방법으로 동등화를 실행하였고 2개 평가준거로 동등화 결과를 평가하였다. 연구결과, 가교문항 유형 구성 측면에서는 일차원 조건에서 단일 문항유형일 때 오차가 감소하여 가교문항이 단일이분 유형일 때 혼합이분 유형보다 오차가 적었으며 단일다분 유형일 때 혼합다분 유형보다 정확한 결과를 보였다. 반면, 다차원 조건에서는 가교문항이 혼합 문항유형일 때 정확한 결과를 보여 혼합이분이나 혼합다분 유형에서 단일이분이나 단일다분 유형보다 오차가 적게 나타났다. 그러나 다차원성이 높은 조건에서는 단일다분 유형과 혼합다분 유형에서 동등화 오차가 커지는 경향을 보여 다분문항의 비중이 큰 가교문항 유형은 문항유형에 따른 다차원성이 높을 때에 적합하지 않을 수 있음을 발견하였다. 가교문항 대표성에 따른 결과를 살펴보았을 때 일차원 조건에서는 대표성을 가지지 않는 문항유형에서 오차가 적었으나 다차원 조건에서는 대표성을 가지는 혼합 가교문항 유형에서 오차가 적은 것으로 나타났다. 혼합 가교문항 유형 중 전체 검사의 문항유형 구성을 반영하고 있는 대표20, 대표30, 대표40 유형과 특정 문항유형의 비중이 크게 구성된 혼합이분 유형 그리고 혼합다분 유형에서의 결과를 비교했을 때 일차원 조건에서는 혼합이분 유형이나 혼합다분 유형에서 오차가 적게 나타났으나 다차원 조건에서 대표성을 가지는 유형에서 오차가 감소하는 경향을 보였다. 가교문항 수에 따른 결과의 분석에서 문항유형 효과를 고려하지 않고 가교문항 수의 단순 효과를 비교했을 때 일차원 조건에서는 가교문항 수가 많은 단일 문항유형에서 오차 값이 적었으나 다차원 조건에서는 가교문항 수가 가장 적은 대표20 유형에서 오차가 감소하였다. 문항유형 구성이 동일하고 가교문항 수는 다른 대표20, 대표30, 대표40 유형에서의 결과를 비교했을 때에는 다차원 조건에서 가교문항 수가 많은 대표30 유형이나 대표40 유형에서 오차가 적게 나타났으나 가교문항 수가 증가하면서 동등화 오차가 일정하게 감소하지는 않았다. 가교문항 수가 동일하고 문항유형 구성은 다른 혼합이분, 혼합다분 그리고 대표30 유형에서의 동등화 결과를 비교했을 때 일차원 조건에서는 세 유형에서 오차 값의 차이가 크지 않았으나 다차원성이 높을수록 세 유형의 오차 값의 차이는 크게 나타났다. 특히 다차원성이 높은 조건에서 다분문항의 비중이 큰 혼합다분 유형에서 오차가 크게 나타났고 대표30 유형도 혼합이분 유형보다 높은 오차를 보여 가교문항 수가 동일한 세 유형에서 동등화 결과의 정확성은 다르게 나타났다. 이 연구에서 사용한 동등화 방법의 정확성을 비교했을 때 검사특성곡선 방법이 적률 방법보다 정확한 결과를 보였고 검사특성곡선 방법 중 Haebara 방법은 대부분의 조건에서 가장 정확한 결과를 보였다. 반면, 검사특성곡선 방법 중 Stocking-Lord 방법에 대해서 대칭적 변환을 시도하여 Haebara 방법과 유사한 수준의 정확성을 기대하였으나 Stocking-Lord 방법은 다차원성이 높은 조건에서 다분문항 중심의 가교문항 유형에서 오차가 큰 경향을 보였고 Haebara 방법보다 정확성이 떨어지는 것으로 나타났다. 적률 방법 중 평균/표준편차 방법은 대부분의 조건에서 동등화 방법 중 오차 값이 가장 크게 나타났으며 문항유형에 따른 다차원성이 높을 때 다분문항이 포함된 가교문항 유형에서 동등화 결과의 정확성이 높지 않았다. 실제 혼합형 검사는 문항유형에 따른 검사 다차원성을 배제하기 어렵기 때문에 혼합형 검사 동등화에서 문항유형에 따른 다차원성이 존재할 때 정확한 동등화 결과를 얻기 위해서는 가교문항 구성에 대한 탐색이 필요하다. 이 연구의 결과, 가교문항의 문항유형 구성에 있어 일차원 조건에서 가교문항은 단일 문항유형일 때 그리고 다차원 조건에서는 혼합 문항유형일 때 동등화 오차가 감소하였다. 특히 혼합 가교문항 유형 중에서도 전체 검사의 문항유형 구성을 대표하는 유형에서 동등화 오차가 감소하였으나 다차원성이 매우 높은 경우에는 다분문항의 특성과 문항유형에 따른 다차원성의 상호작용이 있는 것으로 판단되었다. 또한 다차원 혼합형 검사에서는 가교문항 수보다 문항유형 구성을 먼저 고려하는 것이 동등화 결과의 정확성을 높일 수 있을 것으로 보인다. 다차원 조건에서 문항유형 구성이 동일할 때 가교문항 수가 많은 유형에서 오차가 감소하였지만 가교문항 수가 동일할 때 문항유형 구성이 다른 가교문항 유형에서의 오차 값의 차이는 증가하였기 때문이다. 동등화 방법에 있어서는 안정성과 정확성이 확인된 검사특성곡선 방법을 위주로 적용하되 동등화 결과에 대한 확인적 평가의 목적으로 적률 방법을 활용하는 것이 바람직할 것이다. 이 연구의 결과는 설정된 모의연구 조건에 제한되어 해석해야 하며 모의 자료 생성에 있어 실제 모수 추정치에 기초하였기 때문에 통제할 수 없는 오차가 동등화 결과에 영향을 미칠 수 있다는 제한점을 가지고 있다. 따라서 엄격히 통제된 모의 자료와 실제 응답자료에 동일 연구조건들을 적용하여 혼합형 검사 동등화를 실행함으로써 이 연구를 통하여 발견된 결과들에 대한 확인이 이루어져야 한다. 또한 일차원 문항반응이론 모형에 기초한 검사 동등화에 영향을 미칠 수 있는 다양한 요인을 탐색함으로써 최근 교육평가 영역에서 실제로 요구되는 혼합형 검사 동등화의 정확성을 높이는 데 도움을 줄 수 있는 연구가 지속되어야 할 것이다.