혼합분포 문항반응모형 적용을 위한 잠재집단의 이질성 수준 탐색

Abstract

Mixture item response model (mixture IRT), is a model utilizing the advantages of both the mixture model and the item response model by combining both models. Due to the fact that mixture IRT first classifies latent classes, and then, estimates parameter by classes, the heterogeneity between latent classes is required. If the Mahalanobis distance between the latent classes is measured as heterogeneous then the data itself can be considered heterogeneous. The purpose of this study is to suggest a degree of heterogeneity between classes in order to utilize a model, after confirming the accuracy of latent class estimation, based on distance, when utilizing mixture IRT. The heterogeneity between the classes was measured by the distance between latent classes, which is not a factor being dealt within the existing mixture IRT research. In order to confirm this, a simulation study was used that allowed for the assumptions of the following varying conditions; numbers of classes (2class, 3class), sample sizes (1,000, 2,500), mixing proportions (equal, unequal) the difference of mean parameter distributions (0, 0.5, 1, 1.5), and the distance between the latent classes (2, 3, 4, 5). The accuracy of correct model selections based on the heterogeneity of latent classes and the accuracy of examinee classification, were confirmed by the simulation study. Also, by analyzing the data from the TIMSS 2015 8th grade math achievement test, mixture IRT’s application possibility was confirmed. The data from the mid-level distance, with an average of three, and the data from the short-level distance, with an average of less than three, were analyzed. The classification tendencies of the latent classes based on distance were compared, and the characteristics of the classified latent classes were also compared. The followings are the results from analyzing the simulation study. First, a pattern was observed in the item difficulty based on latent class’s heterogeneity. If the distance between the latent classes was relatively close, the pattern was similar between the classes, but when the distance between the latent classes was farther, the pattern seemed to show more differences. Second, the probability of correct model selections became more noticeably accurate when the Mahalanobis distance between the latent classes was 3 or more, therefore, the number of information criteria which select for consistent outcomes was increased. This tendency was present in all conditions. Third, if the distance between the latent classes is 3 or more then the accuracy of examinee classification, as defined as being entropy, the percentage of correct group membership, and Thetha distribution’s mean recovery, is a more acceptable level. Entropy increased as the distance between latent classes increased. Entropy was affected by other conditions including, number of classes, sample sizes, mixing proportions, the mean difference of parameter distributions, but the effect was minimal. The percentage of correct group membership also showed an increase when the distance between latent classes was increased. Theta distribution’s mean recovery also decreased when the distance between the latent classes was increased. The distance between latent classes was the condition that changes the accuracy of the examinee classification the most. In conclusion, there is a consistent tendency that if the Mahalanobis distance between latent classes is 3 or more, then the higher the accuracy of examinee classifications and correct model selections. Generally, if the distance between latent classes is 2, an unacceptable accuracy is produced, if it is 3 or more, an acceptable accuracy is produced. In order to confirm the result of the simulation study, the empirical data was analyzed and the conclusions are the following. First, when the Mahalanobis distance between classes was mid-level, 3 or more, the clearer the characteristic of the distribution tendency became. In the simulation study, the class with mid-level distance matches the model that was selected using AICC and ABIC, which shows fairly high accuracy of correct latent class model selection. However, the class with short distance does not match the model selected by the information criteria. An examinee with 0.5 or less probability to be classified in the correct latent class, mostly falls within short distance, and the examinee with 0.9 or more probability is mostly present in mid-level distance. Also, if the Mahalanobis distance between the latent classes is 3 or more, entropy also shows clearer classification tendencies. Second, if the Mahalanobis distance is 3 or more, the percentage of correct answer graph clearly shows the tendency of heterogeneity between latent classes. The mid-level distance data showed unique patterns in the percentage of correct answer graph by item and domain, but the short distance data showed a similar pattern, even though the latent classes were different. In conclusion, similar to the result of the simulation study, if the mean distance has a mid-level of 3 or more, the classification between the latent classes is rather clear and each characteristic of the latent class was clearly revealed. However, the short distance data did not manifest in both instances. The purpose of this study is to provide information to researchers who intend to utilize mixture IRT; the information to predict the accuracy of latent class estimation and based on this, information about the degree of heterogeneity between classes required to utilize a model. Stemming from these results the following discussions can be had. First, the heterogeneity between classes is shown to influence the pattern of item difficulty differences more than the item difficulty differences. Therefore, if you predict the heterogeneity between the latent classes to use mixture IRT, the pattern of item difficulty should be considered rather than the item difficulty differences. Second, when the Mahalanobis distance between latent classes is 3 or more, a meaningful analysis result can be obtained utilizing a mixture IRT. Therefore, according to the analysis result, the farther the distance between the classes, the clearer the accuracy of latent class estimation; a distance of 3 is the meaningful cutoff value. Researchers who use mixture IRT can predict the accuracy of the latent class estimation by calculating the distance between the latent classes. In addition, the result of the simulation study, was once again confirmed through the analysis of real data. Therefore, when analyzing empirical data, assuming a population, it is necessary to consider if there are latent classes in the population, and what is the distance between those classes, before applying Mixture IRT. Lastly, this study suggests using the distance between the latent classes as an index to predict the accuracy of latent class estimation, even though there has not been an agreement on an index to predict the accuracy of latent class estimation. When analyzing real data, utilizing mixture IRT, the accuracy of latent class estimation can be predicted by indirect means, such as entropy and model fit comparison, since there is no knowing of true latent class. However, when using a model fit index, it is difficult to confirm the accuracy of the applicable classification since a model fit index is not an index for the model itself, rather it is a relative index to compare other models. A general consensus regarding good entropy is lacking. The distance between the latent classes is different from entropy and model fit index, and it is easy to understand intuitively, and it is possible to predict distance beforehand based on the theoretical background. When it is difficult to predict, due to various reasons, the accuracy of the latent class estimation using entropy and model fit index, calculating the distance between latent classes will help to better understand the data and use it as another index of the accuracy of latent class estimation.;혼합분포 문항반응모형(mixture item response model)은 혼합모형과 문항반응모형을 결합하여 두 모형의 장점을 모두 활용하는 모형이다. 혼합분포 문항반응모형은 혼합모형의 관점에서 질적으로 의미 있는 잠재집단(latent class)으로 피험자를 분류할 수 있고, 문항반응모형의 관점에서 각 잠재집단 내의 문항 특성과 피험자 능력을 추정할 수 있다. 혼합분포 문항반응모형은 하나의 모집단을 하위 잠재집단으로 분류한 후 집단에 따라 분석하기 때문에 하위집단의 이질성이 필수 조건이다. 이때 각 잠재집단의 중심점 간 마할라노비스 거리(Mahalanobis distance)로 이질성을 측정한다면 응답 자료에 영향을 준 모든 정보가 반영된 응답 자료 자체의 이질성을 판단할 수 있고, 각 변수의 표준편차를 고려한 통계적 거리를 통해 이질성을 판단할 수 있다. 본 연구는 혼합분포 문항반응모형 적용 시 집단의 이질성에 따른 잠재집단 추정의 정확성을 확인하여, 모형 활용을 위해 요구되는 이질성 수준을 제안하는 데 목적이 있다. 특히 기존 혼합분포 문항반응모형 연구에서 다루지 않은 하위집단 간 거리를 통해 집단의 이질성을 측정하였다. 이를 위해 모의실험을 통해 다양한 검사 조건(잠재집단의 수, 피험자 수, 잠재집단의 비율, 모수분포 평균의 차이)을 가정하고 잠재집단 간 마할라노비스 거리에 따른 잠재집단 수 결정의 정확성과 피험자 분류 정확성을 확인하였다. 또한, TIMSS 2015 8학년 수학 자료를 분석함으로써 혼합분포 문항반응모형의 적용 가능성을 확인하고, 거리에 따른 잠재집단 분류 경향과 분류된 잠재집단의 특성을 비교하였다. 먼저 모의실험을 통한 주요 분석 결과는 다음과 같다. 첫째, 잠재집단 간 마할라노비스 거리별로 문항 난이도에 일정한 경향이 존재함을 확인하였다. 잠재집단의 거리가 비교적 가까운 조건에서 문항 난이도는 두 잠재집단에서 유사한 패턴을 보였으나, 잠재집단의 거리가 비교적 먼 조건에서 문항 난이도는 매우 다른 패턴을 보였다. 둘째, 잠재집단의 마할라노비스 거리가 3 이상인 조건에서 잠재집단 수를 결정하는 정확도가 눈에 띄게 높아졌고, 그에 따라 일치한 결과를 산출하는 지수의 개수도 증가하였다. 잠재집단의 거리에 따른 이러한 경향은 모든 조건에서 나타났다. 셋째, 마할라노비스 거리가 3 이상인 조건에서 피험자 분류 정확도가 눈에 띄게 높아졌다. 엔트로피는 잠재집단의 마할라노비스 거리가 멀어짐에 따라 점차 증가하였다. 잠재집단 일치율에서도 잠재집단의 마할라노비스 거리가 멀어짐에 따라 일치율이 증가하였다. 피험자 분포 평균에 대한 RMSE도 잠재집단의 거리가 멀어짐에 따라 점차 감소하였다. 잠재집단 간 마할라노비스 거리는 가장 민감하게 피험자 분류 정확성을 변화시키는 조건이었다. 반면 다른 검사 조건은 피험자 분류 정확성에 영향이 있었지만 크지 않았다. 결론적으로 잠재집단 수 결정 정확성과 피험자 분류 정확성에는 잠재집단 간 마할라노비스 거리가 3 이상인 경우 정확도가 높아지는 일관된 경향이 존재하였다. 대체로 잠재집단의 거리가 2인 경우 수용하기 어려운 정확도를 산출하였고, 잠재집단의 거리가 3 이상인 경우, 수용할 수 있는 수준의 정확도를 보였다. 이러한 모의실험 결과를 확인하고자 TIMSS 2015 8학년 수학 자료를 활용하여 잠재집단 간 거리에 따른 잠재집단의 분류 경향과 분류된 잠재집단의 특성을 확인하였다. 실제 자료 분석을 통한 결론은 다음과 같다. 첫째, 잠재집단 분류 경향은 마할라노비스 거리가 3 이상인 자료에서 좀 더 명확한 분류 경향을 보였다. 잠재집단 간 거리가 평균적으로 3 이상인 보통 수준의 거리를 가진 자료는 모의실험에서 잠재집단 수 결정 정확도가 비교적 높은 AICC와 ABIC를 통해 선택한 모형이 일치하였으나, 잠재집단 간 거리가 평균적으로 3 이하인 거리가 짧은 자료는 두 지수를 통해 선택한 모형이 일치하지 않았다. 또한, 피험자가 해당 잠재집단으로 분류될 확률이 0.5 이하인 피험자는 잠재집단 간 마할라노비스 거리가 짧은 자료에 비교적 많이 존재하였고, 해당 잠재집단으로 분류될 확률이 0.9 초과인 피험자는 보통 수준의 거리를 가진 자료에서 비교적 많이 나타났다. 마지막으로 엔트로피도 잠재집단 간 마할라노비스 거리가 3 이상인 자료에서 명확한 분류 경향을 보여준다. 둘째, 마할라노비스 거리가 3 이상인 경우 정답률 그래프에 의해 잠재집단의 이질적 경향이 좀 더 명확하게 드러났다. 보통 수준의 거리를 가진 자료는 문항별 정답률 그래프가 잠재집단별로 특유의 패턴을 보이지만, 잠재집단의 거리가 짧은 자료는 잠재집단이 달라도 비교적 유사한 패턴을 보였다. 영역별 정답률 그래프도 보통 수준의 거리를 가진 자료는 잠재집단의 특성이 드러나는 데 비하여, 거리가 짧은 자료는 잠재집단별 그래프가 평행에 가까운 유사한 패턴이었다. 결과적으로 모의실험 결과와 유사하게 잠재집단 간 마할라노비스 거리가 평균 3 이상의 보통 수준의 거리를 가진 경우, 잠재집단별 분류가 비교적 분명했고, 잠재집단별 특성도 명확하게 드러났다. 반면 거리가 짧은 자료의 분석 결과는 잠재집단별 분류와 잠재집단별 특성 모두 명확하게 드러나지 않았다. 본 연구는 추후 혼합분포 문항반응모형을 활용하고자 하는 연구자들에게 잠재집단 추정의 정확성을 예측하기 위한 정보와 이를 바탕으로 모형 활용을 위해 요구되는 집단의 이질성 수준에 대한 정보를 제공하는 데 의의가 있다. 연구결과를 토대로 한 시사점은 다음과 같다. 첫째, 잠재집단 간 마할라노비스 거리는 개별 문항의 난이도 차이보다는 집단별 난이도의 패턴 차이에 영향을 받았다. 따라서 추후 혼합모형 사용을 위해 잠재집단의 이질성을 예측하고자 한다면 잠재집단에 따른 난이도 차이보다는 난이도 패턴의 차이를 고려해야 할 것이다. 둘째, 잠재집단 간 마할라노비스 거리가 3 이상인 자료에 혼합분포 문항반응모형을 사용할 때 의미 있는 분석 결과를 얻을 수 있다. 따라서 모형을 선택하기 어려운 상황에서 잠재집단 간 마할라노비스 거리를 확인해 봄으로써 혼합분포 문항반응모형 선택에 대한 정보를 얻을 수 있다. 분석 결과에 비추어 보았을 때 하위집단이 이질적일수록 잠재집단 추정은 정확히 이루어졌으며, 잠재집단 간 거리 3은 의미 있는 분할 점(cutoff values)이었다. 연구자들은 이러한 결과를 바탕으로 거리가 3 이상인 자료의 경우, 혼합분포 문항반응모형을 적용한다면 수용할 수 있는 수준의 분류 정확성을 보일 것을 예측할 수 있다. 또한, 이러한 모의실험 결과는 실제 자료 분석을 통해서도 다시 한번 확인할 수 있었다. 그러므로 실제 자료를 통해 분석하는 경우 하나의 모집단을 가정하고 문항반응모형을 적용하기에 앞서 의미 있는 잠재집단이 존재하지 않는지, 존재한다면 잠재집단 사이의 이질성의 정도는 어떠한지 등을 고민해 볼 필요가 있다. 셋째, 혼합분포 문항반응모형을 활용하여 실제 자료를 분석하는 경우, 잠재집단 분류 정확성을 판단하는 지표로 기존에 사용하는 모형 적합도와 엔트로피 외에 잠재집단 간 마할라노비스 거리를 사용할 수 있음을 제안한다. 혼합분포 문항반응모형을 통해 실제 자료를 분석하면, 참(true) 잠재집단을 알 수 없으므로 간접적인 방법으로 모형 적합도와 엔트로피를 가지고 잠재집단 분류의 정확성을 예측한다. 하지만 모형 적합도 지수를 사용하는 경우 모형 자체에 대한 적합도라기보다는 다른 모형과의 비교를 위한 상대적 지표이므로 해당 모형의 분류 정확성을 확인하기는 어렵다. 또한 적절한 엔트로피 값에 대한 일반적인 합의도 부족한 실정이다. 잠재집단 간 거리는 엔트로피나 모형 적합도와 달리 직관적으로 이해하기 용이하며, 이론적 배경에 의해 어느 정도 예측하는 것이 가능하다. 특히 다양한 이유로 엔트로피와 적합도 지수를 가지고 잠재집단 분류 정확성을 예측하기 모호한 경우 잠재집단의 마할라노비스 거리를 산출해 봄으로써 자료에 대한 이해를 높이고, 분류 정확성을 예측하는 또 다른 지표로 활용할 수 있을 것이다. 본 연구는 모의실험과 실제 자료 분석을 통해 혼합분포 문항반응모형 적용 시 집단의 이질성에 따른 잠재집단 추정의 정확성을 확인하여, 모형 활용을 위해 요구되는 이질성 수준을 제안하였다. 하지만 피험자를 잠재집단으로 분류하는 단계에 초점을 맞춘 연구이기 때문에 추정된 문항 모수에 대한 해석이 이루어지지 않았다. 혼합분포 문항반응모형의 다양한 목적을 위하여 문항 모수 해석을 바탕으로 한 자료의 심층적 연구가 이루어질 필요가 있다. 또한, 실제 자료 분석에서는 참(true) 잠재집단을 알 수 없어서 직접 분석의 정확도를 가늠할 수 없었다. 이러한 이유로 잠재집단의 분류 경향과 분류된 잠재집단의 특성이 명확한지를 통해 간접적으로 분석의 정확성을 제시하였다는 제한점이 있다.