타당도의 통합적 접근을 위한 구조방정식모형과 Rasch 모형의 적용 가능성 탐색

Abstract

인간의 내재적 속성을 간접적으로 측정하는 검사에서 타당도의 검증은 필수적이다. 타당도의 개념은 1954년 APA의 Technical Recommendations에서 처음 대두되었고, 그 후 2014년 AERA, APA, NCME의 Standards for educational and psychological testing에 이르기까지 그 개념과 분류기준이 계속 변화·발전되어 오고 있다. 최근 학계에서 합의된 개념은 타당도에 대한 통합적 접근으로, 타당도의 대상이 검사 자체가 아닌 검사 점수의 해석이고, 타당도는 구별되는 종류로 구분하는 것이 아니라 단일 개념으로 접근해야 하며, 가장 중요한 특성으로는 ‘구인’이 그 중심 역할을 하고 있다는 것이다. 타당도의 통합적 접근은 공식적인 이론적 합의로 인정되었으나, 현장 연구에서는 여전히 전통적 관점의 타당도 개념에 의해 검사가 개발되고 타당화 연구가 이루어지고 있다. 본 연구는 타당도의 통합적 접근을 위한 분석 방법을 탐색하고 타당도의 근거를 확인하는 분석 과정을 제안하며 이것을 경험적 자료에 적용함으로써 타당도의 통합적 접근에 대한 이론적 합의를 현장 연구에 적용할 가능성을 탐색하였다. 이를 위해 본 연구에서는 첫째, 타당도 개념이 변화되어 온 과정과 최근 학계의 이론적 합의라고 할 수 있는 타당도의 통합적 접근에 대해서 살펴보았다. 둘째, AERA, APA, NCME(1999; 2014)의 Standards에서 제시하는 타당도 개념에 기반하여 타당도의 통합적 접근을 위한 측정학적 분석 방법을 탐색하고 구조방정식모형과 Rasch 모형을 적용하여 타당도의 근거를 확인하는 측정학적 분석 방법을 제안하였다. 셋째, 타당도의 통합적 접근에 근거한 분석 방법을 경험적 자료에 적용하여 타당도 근거들을 수집하였다. 넷째, 수집된 근거를 통해 타당도를 종합적으로 평가하는 타당화 과정을 제시하였다. 분석 결과는 다음과 같다. 첫째, 검사 내용에 기초한 근거를 확인하기 위해 Rasch 모형을 통해 문항적합도지수와 점이연 측정 상관계수를 확인한 결과, 한 문항(8번)을 제외하고 개별문항의 질이 양호한 것으로 확인되어 검사 문항이 검사가 측정하고자 하는 구인을 적절하게 대표하고 있는 것을 확인하였다. 둘째, 반응 과정에 기초한 근거를 확인하기 위해 검사에 사용된 4점 척도에 대해 Rasch 모형을 통한 평정척도 분석을 수행한 결과, 4점 척도에 대해 척도점수가 증가하면 평균능력추정치 역시 증가하는 형태를 보이고 있는 것으로 확인되어 측정하려는 구인과 피험자의 응답반응이 적절하게 관련되어 있는 것을 확인하였다. 셋째, 내적 구조에 기초한 근거는 구조방정식모형을 적용하여 탐색적 요인분석을 통해 요인 수를 탐색하였고, 확인적 요인분석을 통해 요인구조의 적절성을 평가하였으며, 신뢰도 지수를 산출하였다. 탐색적 요인분석을 통한 요인 수에 대한 검증 결과, 6요인 모형이 적합한 것을 확인하였다. 확인적 요인분석 결과, 6요인 모형의 적합도가 양호하고, 각 문항은 각 요인을 측정하기에 적합하며, 요인 간의 상관계수를 통해 잠재요인에 대한 수렴 근거, 판별 근거도 확보되었다. 또한 신뢰도 지수를 통해 문항이 구인을 일관되게 측정하고 있음을 확인하였다. 따라서 문항 간, 구인 간, 문항과 구인 간 관계가 검사가 측정하고자 하는 구인과 일치하는 정도가 양호한 것을 확인하였다. 넷째, 일반화에 기초한 근거는 구조방정식모형을 적용하여 다집단 확인적 요인분석을 실시하여 직업선호도검사가 성별에 관계없이 사용될 수 있는지 확인하기 위해 측정동일성의 각 단계를 순서대로 검증하고 MIMIC 모형을 통해 차별기능문항 분석을 수행하였다. 다집단 확인적 요인분석 결과, 남녀 집단의 요인구조, 요인계수, 측정오차의 분산(공분산)이 동일하여 측정동일성에 대한 근거를 수집하였다. MIMIC 모형을 통한 차별기능문항 분석 결과, 5문항은 남학생에게, 4문항은 여학생에게 유리하게 기능하는 것으로 나타났다. 즉, 요인구조, 요인계수에서는 구인 동등성이 확보되었으나, 절편에서 성별에 따라 차이를 보이는 문항이 존재하여 성별에 대한 일반화 근거가 완벽하게 확보되었다고 보기는 어려운 것으로 나타났다. 종합적으로, 검사 문항이 검사가 측정하고자 하는 구인을 적절하게 대표하고 있음을 확인하여 검사 내용에 기초한 근거를 확보하였고, 측정하려는 구인과 피험자의 응답반응이 일관적으로 적절하게 관련되어 있는 것을 확인하여 반응 과정에 기초한 근거를 확보하였으며, 6요인 모형이 본 연구자료에 적절함을 확인하여 내적 구조에 기초한 근거를 확보하였으나, 성별에 따른 일반화에 기초한 근거는 추가적인 검증이 필요함을 확인할 수 있었다. 특정 검사의 용도를 확인하기 위해 다섯 가지 타당도 근거가 모두 필요한 것은 아니다(Sireci, 2013). 따라서 연구 목적, 주어진 상황에 따라 적합하다고 판단되는 증거를 수집하여 제시할 수 있어야 한다. 그러나 타당도에 대한 통합적 접근은 가능한 모든 타당도의 근거를 제시하는 것이 바람직하며, 다양한 타당도의 근거들이 서로 연관되어 있으므로 통합적으로 접근하여 분석하여야 한다는 것이 본 연구의 시사점이기도 하다. 본 연구는 타당도 개념의 단일 개념, 즉, ‘구인’을 중심으로 하는 통합적 접근을 위한 타당도의 근거를 확인하는 분석 과정을 제안하고, 이것을 실제 자료에 적용하여 이론적 합의를 경험적으로 구현하였다는 데에 의의가 있다. 본 연구는 타당도의 근거를 확인하는 과정을 단계적으로 보여주어 검사를 개발하고 타당화하는 연구에 보다 쉽게 적용할 수 있을 것이다. 또한 본 연구를 통해서 타당도의 통합적 접근에 따른 분석방법을 일반화하여 다른 자료에도 적용할 수 있음을 시사한다.;Verifying the validity is essential for a test which indirectly measures human latent traits. Since the concept of the validity has first received considerable attention in Technical Recommendation by APA in 1954, its concept and classification criteria had continuously evolved until recently in Standards for educational and psychological testing by AERA, APA, and NCME in 2014. The consensus in recent academia is the unified approach to validity: the object of validity is an interpretation of test scores, not the test itself; validity should be approached as a unitary concept, as opposed to a concept with distinct types(e.g., content-related validity and criterion-related validity); most importantly, the notion of construct is central to validity. Although the unified approach to validity has been already accepted as a theoretical underpinning, the field studies are still using the traditional concept of validity to develop assessments and evaluate validity. This study explores the ways of applying the theoretical consensus of the unified approach of validity to field studies through exploring analytic methods of the integrated approach to validity, proposing an analytic process that can evaluate validity evidence, and applying the process to empirical data. For this purpose, the study first reviews the process in which the concept of validity has changed over time and examines the unified approach to validity which is the theoretical consensus of the recent scholarly field. Secondly, based on the validity concepts presented in Standards of AERA, APA, & NCME (1999; 2014), the study explores the psychometric analysis method following the unified approach of validity, by proposing a psychometric analysis method which evaluates the validity evidence using the Structural Equation Model(SEM) and the Rasch Model. Thirdly, the study applies the analytical method based on the integrated approach of validity to the empirical data of CACV(Comprehensive Assessment for Career Development and Vocational Interest) to collect validity evidence. Lastly, using the collected evidence, the study presents the validation process in which validity is assessed through the integrated approach. The results of the analysis are as follows. First, the item fit index and point-measure correlation were tested through the Rasch model to verify the evidence based on the test content. As a result, it was confirmed that the quality of each item was good except for one item(i.e., #8), thus rendering the overall assessment appropriate to represent the constructs to be measured. Secondly, to test the evidence based on response processes, the rating scale analysis was performed using the Rasch model of the 4-point scale; the result showed that the average ability estimates increased as the scale score also increased for the 4-point scale. It is concluded that the responses of constructs to be measured and examinees' responses are adequately related. Thirdly, evidence based on internal structure was explored through Structural Equation Modeling by examining factor number using exploratory factor analysis, assessing the appropriateness of factor structure using confirmatory factor analysis, and calculating the reliability index. As a result of the exploratory factor analysis, we concluded that the six-factor model is appropriate. The result of confirmatory factor analysis indicates that the model fit of the six-factor model is good, and each item is suitable to measure each factor; both convergent and discriminant evidence of the latent factors were obtained through the correlation coefficient amongst factors. Besides, we found that the items consistently measure the factors through the reliability index. Therefore, it was found that the relationships between the items, the factors, and the items and the factors are in good agreement with the factors that the assessment intends to measure. Lastly, for evidence based on the generalization, we applied the structural equation model to the multi-group confirmatory factor analysis. In order to test whether CACV can be used regardless of the gender, each step of the measurement invariance is verified in order, and the MIMIC model was used to analyze differential item functioning. As a result of the multiple group confirmatory factor analysis, factor structure, factor coefficient, and variance of measurement error were found to be equal according to gender, thus the evidence of the measurement invariance was collected. As a result of the analysis of the differential item functioning, five items were found to be favorable for male and four items to be favorable for female. In other words, though the construct equivalence was found in factor structure and factor coefficients, it was difficult to conclude that the evidence based on the generalizations for gender was completely coherent because some items showed difference according to gender in the intercept. Overall, it was concluded that the test items were appropriately representative of the constructs to be measured to obtain the evidence based on the test content and by verifying that the construct to be measured and the response of the examinees’ are consistently and properly related, the evidence based on the response precesses was obtained. The six-factor model was found to be appropriate for this study data to obtain evidence based on internal structure, but the evidence based on gender-based generalization indicated that further confirmation is required. Not all five sources of validity evidence are needed to determine the use of a particular test(Sireci, 2013). Therefore, it is suggested that the appropriate evidence should be collected and presented according to the research purpose and context. However, the study suggests that the unified approach to validity prefers all possible validity evidence to be presented, and the analysis should incorporate the integrated approach because the various sources of validity evidence are related to each other. This study makes meaningful contributions by suggesting an analytical process that evaluates validity evidence to demonstrate the integrated approach centered on construct―the unitary concept of validity―and by empirically implementing the theoretical consensus through the application of the actual data. After demonstrating the step-by-step process of confirming the validity evidence, the study can be easily applied to other validity studies and assessment developments. The study also suggests that analytical methods based on the unified approach can be generalized and applied to other data.