다집단 인지진단모형의 적용과 Q행렬 타당화 방법 간의 회복률 비교

Abstract

The purpose of the study investigates the application possibility of Multi-Group Cognitive Diagnosis Models on actual data and the characteristics of the models. This study applies multi-group cognitive diagnostic model for the youth emotional·behavioral problem measurement data from The Korean Children and Youth Panel survey (KCYPS). It also attempts to compare the features of the validation method of Q matrix. The validation method of Q matrix compares the accuracy through simulation by selecting empirical δ method and RSS method. The recovery rate is measured in simulation by intentionally conducting misspecification of Q matrix in simulation and checking whether each validation method of Q matrix properly appoints the factor of misspecification. The misspecification conditions are appointed with varied number of misspecification factor, item centeredness, case number. The main analysis of simulation are as follows. First, the recovery rate of suggestion factor of RSS method is found to be higher than that of δ method in general conditions. RSS method particularly has higher recovery rate when the misspecification factors are spread into many items. Second, the recovery rate on misspecification of δ method factors is found to be higher in general conditions. For another 6 conditions excepting the 2 conditions which have the lowest number of case number and misspecification factor number, the recovery rate of δ method is higher. Third, the frequency of suggestion factors is concentrated on specific items and factors in both methods, and the concentration tendency of RSS method is higher. In addition, to explore the rate between each method of the total frequency of the factors which the modification is suggested throughout 20 sets and the actual misspecified factors among them, RSS method has higher rate in general conditions. As the results of analysis, RSS method tends to suggest a small number of correct suggestion factors but not to suggest all modification among misspecification factors. δ method tends to have low accuracy by suggesting a large number of modification factors but to allow the modification of a variety of factors. The accuracy of δ method highly increases as the number of cases increases; RSS gets less influences from the number of cases but from the number of misspecification factors of Q matrix. On the other hand, this study applies multi-group cognitive diagnostic models for actual data based on the Q matrix conducted through statistics validation. In order to determine the application suitability of multi-group G-DINA, the rates of G-DINA model, model goodness, and the rate of positive response per group are compared. It is found that the model utilizing gender and self-reported academic achievement as group classification variables has better goodness than G-DINA model. It is also found that the different characteristics exist according to gender and self-reported academic achievement in the results of analyzing the positive responses of the items per group. Therefore, the application of multi-group G-DINA is demonstrated to be appropriate. The main results from the subject parameter assumed by applying multi-group cognitive diagnostic model to utilize gender and self-reported academic achievement are as follows. First, the application of multi-cognitive diagnostic model according to gender shows that male students have the highest rate of possessing excessive behavior, and the rate of possessing attention deficit and aggressive behavior is followed in the rate of possessing emotional behavioral problems. In contrast, female students have difference in the rate of possessing depression and the rate of other factors, and the rate of depression is the highest. Although externalizing tendency is easy to be observed because it is expressed into interfering with others or causing conflicts or aggressive or disruptive behaviors, internalizing tendency which does not appear as external aspects is relatively difficult to be classified as emotional behavioral problems, and it is likely to be marginalized in relevant programs or services. Therefore, teachers should change the awareness that the behaviors treated as problematic are not the only emotional behavioral problems in classroom. They should observe carefully to understand how the symptoms of depression and anxiety are expressed. Second, the result of applying multi-group cognitive diagnostic model according to self-reported academic achievement shows that all the factors of the rate of possessive subject per each group increase as the level of academic achievement generally becomes lower. However, the case of anxiety is exceptional; the possessing rate of ‘lower than 70 points’ group is the highest while the possessing rate of ‘higher than 90 points’ group is the second-highest. The emotional behavioral problems and the related low academic achievement can cause constant learning deficit, being held back, and school dropout. Such problems in learning can lead to social maladjustment in adulthood that includes a variety of lifestyle problems or crimes (Bullock, Gable, & Melloy, 2005; Lane, 2004). Therefore, discovering emotional behavioral problems in adolescent and working to supplement the academic achievement of low-achievement youths is very significant. In addition, the fact that the rate of possessive subjects of emotional behavioral problems among the group with high self-reported academic achievement is low does not mean that the problems do not exist. It is noticeable that a lot of youths with learning-related anxiety is particularly included. This study has following implications; it expands the applying rage of cognitive diagnostic model by applying multi-group cognitive diagnostic model for psychological test and demonstrates that the model can provide meaningful results on new field. It also confirms the advantage of assuming process of the model including group effect control, result comparison per group and result utilization. However, applying multi-group cognitive diagnostic model should be conducted after checking whether the collected data contains heterogeneous subgroups or is acquired from homogeneous groups. Analyzing the data from homogeneous groups does not require the application of multi-group cognitive diagnostic model. Rather it decreases the degree of simplicity by increasing the number of parameters that should be assumed. In addition, group classification variables should be the valid thing based on theoretical foundation. Utilizing the variables which are not relevant with the factors to be measured by investigation as group classification variables or classifying the group according to diverse variables and conducting the analysis several times and then reporting the results by selecting the variables in which the differences between groups exist makes the result interpretation invalid and useless for learning improvement or problem-solving.;인지진단모형(Cognitive Diagnosis Models; CDMs)은 다차원 준거 참조적 해석을 제공한다(Gierl & Cui, 2008). 이는 인지진단 모형의 두 가지 중요한 장점을 포함한다. 첫째는 준거 참조적 해석을 통해 측정 요소에 대한 직접적 숙달 여부를 파악할 수 있다는 것이며, 두 번째는 검사와 문항이 여러 요소를 복합적으로 측정할 수 있다는 것이다. 인지진단 모형의 두 가지 장점은 관찰 가능한 증상을 통해 정서․행동문제를 판단하는 심리검사에서도 유용하다. 하나의 증상은 여러 심리 장애에서 동시에 기인하거나 혹은 복합 작용으로 발생할 수 있기 때문이다. 또 심리검사에 인지진단모형을 적용하면 기존 표준화 점수에 의한 판별 뿐 아니라 각 요소에 대한 확률 정보 및 보유 여부를 추가로 제공받을 수 있다. 최근에는 다집단 인지진단모형(Multi-group Cognitive Diagnosis Models)이 개발되어 실제 검사결과에 적용되고 있다. 다집단 인지진단모형은 전체 피험자 집단 내에 존재하는 하위 집단들을 분리하여 각 집단을 대상으로 피험자 모수를 추정한다. 이를 통해, 사례 수 손실 없이 문항모수 추정할 수 있고 집단의 영향력을 배제한 순수한 보유 확률의 추정이 가능하다. 그리고 집단 간 피험자 모수의 비교가 가능하고 집단 특성을 파악할 수 있기 때문에 각자가 속한 집단에 터한 중재안을 개발할 수 있다. 한편, 인지진단모형의 적용은 Q행렬(Tatsuoka, 1983) 작성에서 출발한다. 그러나 문항에 대한 해석과 풀이방법의 차이 등으로 인해 여러 내용 전문가들의 의견을 하나로 모으는 것은 쉽지 않다. 이러한 불확정성을 보완하기 위해 Q행렬을 교정할 수 있는 다양한 통계적 방법들도 제안되고 있고, 수리․통계적 방법에 의한 Q행렬의 수정은 반드시 거쳐야하는 단계이다. 그러나 방법을 선택하는 것은 쉽지 않다. 이들 각 방법은 통계적 속성과 추정 알고리즘이 서로 다르며 존재하는 모든 Q행렬 수정 방법을 적용한 후 결과를 비교하여 Q행렬을 타당화 하는 것은 현실적으로 불가능하다. 본 연구는 실제 자료(real data)에 대한 다집단 인지진단모형의 적용 가능성과 모형의 특성 탐색을 목적으로 한다. 이를 위해, 한국 아동・청소년 패널조사(The Korean Children and Youth Panel Survey; KCYPS)의 청소년 정서․행동문제 측정 자료를 대상으로 다집단 인지진단모형을 적용한다. 또한 Q행렬 타당화 방법의 특성을 비교하고자 한다. Q행렬 타당화 방법은 경험적 δ방법과 RSS방법을 선정하여 모의실험을 통해 정확성을 비교한다. 모의실험은 Q행렬을 의도적으로 오지정하여 각 Q행렬 타당화 방법이 오지정된 요소를 제대로 지적하는지 그 회복률을 측정한다. 오지정 조건은 오지정 요소의 수, 문항 집중성, 사례 수를 달리하며 지정하였다. 먼저 모의실험을 통한 주요 분석 내용은 다음과 같다. 첫째, 제안 요소에 대한 회복률은 대부분 조건에서 RSS방법이 δ방법에 비해 높았다. RSS방법은 특히 오지정 요소가 여러 문항에 퍼져있을 때, 그리고 오지정된 요소가 적을 때 회복률이 높았다. 둘째, 오지정 요소에 대한 회복률은 대부분 조건에서 δ방법이 높았다. 사례 수와 오지정 요소의 수가 가장 적은 두 조건을 제외하고 나머지 6조건에서는 δ방법의 회복률이 높았다. 셋째, 제안 요소의 빈도는 두 방법 모두 특정 문항과 요소에 집중되어 있었으며, RSS방법의 집중 경향성이 보다 높았다. 또 20개 세트에 걸쳐 각 방법이 수정을 제안한 요소의 총 빈도와 그 가운데 실제 오지정된 요소의 비율을 확인한 결과 대부분 조건에서 RSS방법이 높았다. 분석결과 RSS방법은 소수의 정확한 수정 요소를 제안하지만 오지정 요소 중 수정을 제안하지 않는 경우가 많았다. δ방법은 다수의 수정 요소를 제안하여 정확성은 떨어지지만 다양한 요소의 수정을 고려할 수 있었다. δ방법은 사례 수가 증가하면서 정확성이 크게 증가했고, RSS방법은 사례 수의 영향은 상대적으로 작고 Q행렬의 오지정 요소의 수에 영향을 받았다. 다양한 자료 조건에 맞는 Q행렬 타당화 방법의 활용 방안은 다음과 같다. 먼저 사례 수는 충분하지만 예상되는 오지정 요소가 다소 많을 때 δ방법을 사용할 수 있다. 다음으로 수리․통계적 Q행렬 타당화 단계를 통해 다수 요소의 적절성을 판단하고자 한다면 역시 δ방법을 사용할 수 있다. δ방법은 RSS방법보다 수정을 제안하는 요소의 수가 모든 조건에서 2배 이상 많았기 때문이다. 반면, 소수의 오지정 된 요소를 정확히 교정하고자 한다면 RSS방법을 사용할 수 있다. 본 연구는 현재까지 개발된 다양한 타당화 방법을 문헌연구를 통해 종합하고 모의실험과 실제 자료를 이용해 RSS방법과 δ방법 간의 정확성을 비교하였다는 점에서 의의를 찾을 수 있다. 그러나 정확성 비교를 위해 실시한 모의실험의 조건은 다소 제한적이다. 특히 δ방법 적용에 한 가지 ε값을 이용하였는데 여러 ε값을 활용하면 δ방법의 속성을 보다 자세히 파악할 수 있을 것이다. 본 연구의 조건보다 사례 수의 범위를 확장한다면 최소 수준의 사례 수를 제안할 수 있고, 사례 수 증가에 따른 최대 정확성은 어느 정도인지 확인할 수 있을 것이다. 한편, 통계적 타당화를 거쳐 작성한 Q행렬을 바탕으로 실제 자료에 다집단 인지진단모형을 적용하였다. 다집단 G-DINA모형의 적용 적절성을 판단하기 위해 일반 G-DINA모형과 모형 적합도 그리고 집단별 긍정응답 비율을 비교하였다. 성별과 자기보고에 의한 학업성취를 집단 구분변수로 활용한 모형이 일반 G-DINA모형보다 적합도가 우수했으며, 집단별 문항의 긍정응답 비율을 분석한 결과에서도 성별과 자기보고에 의한 학업성취에 따라 서로 다른 특성이 존재함을 확인할 수 있었다. 이에 따라, 다집단 G-DINA모형의 적용은 적절한 것으로 판단하였다. 성별, 자기보고에 의한 학업성취를 활용하여 다집단 인지진단모형을 적용해 추정한 피험자 모수의 주요 결과는 다음과 같다. 첫째, 성별에 따른 다집단 인지진단모형을 적용한 결과 정서․행동문제 보유 비율은 남학생의 경우 과잉행동의 보유 비율이 가장 높고, 주의력 결핍과 공격행동이 뒤를 이었다. 반면, 여학생은 우울의 보유 비율이 다른 요소의 보유 비율과 큰 차이를 보이며, 가장 높았다. 외현화 경향은 타인을 방해해 갈등을 일으키거나 공격적, 파괴적 행위로 나타나 관찰이 쉽지만 외적으로 잘 드러나지 않는 내재화 경향은 상대적으로 정서․행동문제로 분류되기 어렵고, 관련 프로그램이나 서비스에서도 소외되기 쉽다. 따라서 학급에서 문제행동으로 취급되기 쉬운 행위만이 정서․행동문제라는 인식을 버려야 하며, 우울과 불안이 어떤 증상으로 드러나는지 이해하여 주의 깊게 관찰해야 한다. 둘째, 자기보고에 의한 학업성취에 따른 다집단 인지진단모형을 적용한 결과 각 집단의 보유 피험자 비율은 모든 요소가 대체로 학업성취 수준이 낮아짐에 따라 비율이 증가하는 것을 볼 수 있다. 그러나 불안의 경우는 예외로 ‘70점 미만’집단의 보유 비율은 가장 높지만, ‘90점 이상’집단의 보유 비율은 두 번째로 높다. 정서․행동문제와 그로 인한 낮은 학업성취는 지속적 학업 결손, 유급, 학교 중도탈락의 원인이 되기도 한다. 학습에서의 이러한 문제는 다양한 생활 문제나 범죄를 포함하는 성인기의 사회 부적응으로 이어지기도 한다(Bullock, Gable, & Melloy, 2005; Lane, 2004). 따라서 청소년 시기에 정서․행동문제를 발견하고 저성취 청소년의 학업 결손을 보충하는 일이 매우 중요하다. 또한 자기보고에 의한 학업성취가 높은 집단의 정서․행동문제 보유 피험자 비율은 가장 낮았지만, 존재하지 않는 것은 아니며 특히 학업관련 불안을 느끼는 청소년들이 많이 포함되어 있다는 사실을 유념해야 한다. 본 연구는 심리검사에 다집단 인지진단모형을 적용함으로서 인지진단모형의 적용 범위를 확장하고, 모형이 새로운 분야에 대해서도 의미 있는 결과를 제공할 수 있음을 보였다. 집단 효과 통제, 집단별 결과 비교 등 모형이 가지는 추정 과정과 결과 활용상의 이점도 확인하였다. 그러나 다집단 인지진단모형을 적용할 때에는 수집된 자료가 이질적 하위 집단을 포함하고 있는지 혹은 동질적 집단에서 얻은 것인지 먼저 확인해야한다. 동질 집단의 자료를 분석할 때는 다집단 인지진단모형의 적용이 필요하지 않다. 오히려 추정해야할 모수의 수를 증가시켜 모형의 간명성을 저하시킨다. 또 집단 구분변수는 이론적 근거가 있는 타당한 것이어야 한다. 검사가 측정하는 요소와 관련이 없는 변수를 집단 구분변수로 사용하거나 다양한 변수로 집단을 구분하여 여러 번 분석을 실시한 후 집단 간 차이가 존재하는 변수를 선택하여 결과를 보고한다면 결과 해석이 부적절해지고, 학습 개선이나 문제 해결을 위해서도 분석 결과를 활용할 수 없다. 본 연구는 성별과 자기보고에 의한 학업성취에 따라 정서․행동문제의 경향과 정도차이를 보였지만 각각의 변수를 분리하여 투입하였다는 제한점이 있다. 현재 공변인을 포함하여 그 효과를 통제하는 인지진단모형이 개발되어 있는 것처럼, 후속 연구에서 공변인을 포함한 다집단 인지진단모형을 적용할 수 있다면 하나의 변수는 집단 구분 변수로, 다른 하나는 공변인으로 투입하여 두 가지 변수의 영향력이 모두 통제된 피험자 모수를 추정할 수 있을 것이다.