잠재집단분석에서 불성실 응답의 유형 및 처리 방법에 따른 모형 적합도 결과 비교

Abstract

교육학 연구에서 자기 보고식 설문조사는 데이터를 수집하기 위 가장 널리 사용되는 방법 중 하나이다. 자기 보고식 설문조사는 주관적인 이해와 인식에 따라 응답자가 응답한 결과를 활용하여 응답자의 정서적, 사회적, 태도적, 행동적 측면 등을 평가하기 용이하다는 장점에도 불구하고, 수집된 데이터의 품질을 저해할 수 있는 다양한 요소들이 존재한다는 한계를 가진다. 그 요소 중 대표적인 것이 불성실 응답(careless responding)이다. 불성실 응답은 정확하고 성실하게 응답을 제공할 동기가 낮거나(Bowling et al., 2016; Huang et al., 2012), 문항을 충분히 읽고 이해하여 의미 있는 응답을 제공하기 위한 노력을 기울이지 않고 부주의하게 응답하는 것을 의미한다(Schneider et al., 2018). 높은 데이터 품질을 유지하는 것은 정확하고 재현 가능한 연구를 위한 매우 중요한 전제 조건이다. 최근 들어 불성실 응답이 데이터 품질에 심각한 위협이 될 수 있다는(Johnson, 2005; Manici & Rogge, 2014) 연구 결과로 인해 불성실 응답에 대한 연구자들의 관심이 높아지고 있다. 이러한 불성실 응답과 관련한 문제는 전체 설문조사의 3~12%에서 발생하는 것으로 알려져 있다(Johnson, 2005; Maniaci & Rogge, 2014; Meade & Craig, 2012). 따라서 실제 분석 상황에서 데이터에서 불성실 응답을 어떻게 처리할 것인지 연구자들의 수월한 결정을 위해 반드시 필요한 정보인 불성실 응답의 유형 및 비율에 초점을 맞추어 불성실 응답이 분석 결과에 어떠한 영향을 미치는가에 대한 연구가 추가로 진행되어야 할 필요가 있다. 이러한 문제의식에서 출발하여, 본 연구는 불성실 응답의 유형과 심각도, 그리고 불성실 응답의 처리 방법에 따라서 불성실 응답이 잠재집단분석에서 최적의 잠재집단 수를 판정하는데 미치는 영향을 몬테카를로 시뮬레이션 연구를 통해 분석하였다. 본 연구에서는 다양한 조건 하에서 불성실 응답의 유형 및 불성실 응답 처리 방법이 잠재집단분석의 최적의 잠재집단 수를 판정하는데 미치는 영향이 달라지는지 확인하기 위한 모의실험을 실시함으로써, 교육학 및 관련 분야의 연구에서 효과적으로 불성실 응답을 다룰 수 있는 방법에 대한 시사점을 제공하고자 하였다. 이를 위해 본 연구에서는 몬테카를로 시뮬레이션 연구를 통해 모형 적합도 측면에서 완전 자료 분석, 사례별 삭제법, 완전 정보 최대우도법의 세 가지 자료 처리 방법을 활용하여 잠재집단분석을 실시한 결과를 한 줄 응답, 패턴 응답, 완전 무작위 응답의 세 가지 불성실 응답 유형 별로 서로 비교하였다. 본 연구에서 다룬 불성실 응답의 유형과 불성실 응답 처리 방법 유형을 중심으로 살펴본 주요 연구 결과를 바탕으로 도출한 방법론적 시사점을 요약하면 다음과 같다. 첫째, 거의 모든 시뮬레이션 조건에서 불성실 응답 유형이 완전 무작위 응답 유형일 때 모형 적합도 지수 결과가 가장 양호하지 않은 것으로 나타났다. 분석에 사용되는 표본 크기가 작은 경우에 다양한 불성실 응답의 유형 중 우선적으로 완전 무작위 응답 유형을 처리하는 것을 고려할 수 있다. 둘째, 불성실 응답 처리 방법 유형에 따라 처리 후 잠재집단분석의 모형 적합도를 비교했을 때, 불성실 응답 심각도가 25%, 75%일 경우 거의 모든 시뮬레이션 조건에서 완전 정보 최대우도법을 사용하여 불성실 응답을 처리했을 때 잠재집단의 수를 가장 정확하게 식별했다. 예외적으로 한 줄 응답 유형 분석에서 불성실 응답 심각도가 75%일 때 완전 자료 분석법을 사용했을 때 정확하게 식별한 모형의 비율이 가장 컸다. 불성실 응답 심각도가 100%일 때는 모든 시뮬레이션 조건에서 사례별 삭제법을 사용하여 불성실 응답을 처리했을 때 잠재집단 수를 가장 정확하게 식별했다. 따라서 선행 연구에 따르면 불성실 응답자들은 모든 문항이 아닌 일부의 문항들에서만 불성실하게 응답하는 경향을 보일 수 있고(Melipillán, 2019), 불성실 응답과 척도에서 재려고 하는 구인 사이에 관련성이 존재할 때, 사례별 삭제법을 적용하여 불성실 응답자들을 분석에서 제외하면 분석 결과에 있어 편향이 발생할 수 있다는 우려가 있기 때문에(Dunn et al., 2018; Rios et al., 2017) 실제 분석 상황에서는 사례별 삭제법보다 완전 정보 최대우도법을 우선적으로 사용하는 것을 고려할 수 있을 것이다.;It is common to model responses to surveys within latent class analysis and use model fit indices to find the obtimal number of classes. Unfortunately, research shows that people occasionally engage in careless responding when completing surveys. While careless responding has the potential to negatively impact model fit of the latent class analysis, this issue has not been systematically explored. A monte carlo simulation study was conducted to better understand the linkage between careless responding and model fit. For this simulation study, 81 unique conditions (which varied the sample size, number of indicators, careless responding severity, types of careless responding, and dealing methods for careless responding), nine latent class analysis models(which have numbers of classes from two to ten), and BIC were examined. The results indicated that careless responding deteriorates model fit under most circumstances. First, under almost all simulation conditions, model fit indices indicated that completely random responses were the least favorable type of careless responding. Second, regarding the types of dealing methods for careless responding, when the severity of careless responding was 25% or 75%, under most simulation conditions, using full information maximum likelihood estimation yielded the most accurate identification of latent classes. Also, when the severity of careless responding was 100%, using listwise deletion yielded the most accurate identification of latent classes. These findings can be leveraged by researchers and practitioners to improve survey methods, obtain more accurate survey results, and enable more justifiable data-driven decisions.