A Study of Statistical Analysis for the Predictive Capacity Performance and Reliability of the MCTT HCETM Eye Irritation Test Method

Abstract

We aimed to conduct statistical analysis of the reproducibility and predictive capacity of MCTT HCETM eye irritation test (EIT), a me-too test method for OECD TG 492 with the data generated during the validation study in which 30 reference chemicals were tested in three repeated runs by three independent laboratories. We evaluated the within-laboratory reproducibility (WLR) and the between-laboratory reproducibility (BLR) with tabulation and graphically, and presented the concordance of eye irritancy prediction with 95% Wilson’s confidence intervals (CIs). Also, the analyses of the Intra-Class Correlation Coefficient (ICC) and Bland-Altman plot were applied to confirm the reproducibility and the comparability, referring to the validated reference methods (VRM) of OECD TG 492. Kappa analysis was additionally performed to check the degree of agreement of the within- and between-laboratory reproducibility and agreement between MCTT and the reference methods. We calculated the predictive capacity via misprediction over total prediction method. The predictive capacity (sensitivity, specificity, and accuracy) was presented with 95% of Wilson’s CIs. Also, bootstrap resampling was performed to express the 95% CI by the simple percentile methods for 30 chemicals and 141 reference chemicals additionally tested. Collectively, WLR (92.2%) and BLR (93.3%) met the criteria of the performance standards (WLR  90% and BLR  85%), and the results of ICC analysis and the Bland-Altman plot suggested an acceptable WLR and BLR and comparability to other validated reference methods of OECD TG 492. Also, the predictive capacity results for the 30 reference chemicals confirmed the good performance of the MCTT HCETM EIT by satisfying the criteria of sensitivity, specificity, and the accuracy stated in the PS. The bootstrap resampling method showed a predictive capacity, sufficiently satisfying the criteria stated in the Performance Standards. ;본 연구는 OECD TG 492의 MCTT HCETM 안자극 시험(EIT)의 재현성 및 예측력에 대한 통계분석을 실시하고자 하였다. 3 개의 독립적인 실험실에서 30 개의 참고 물질을 3 회 반복하여 생성된 데이터를 사용하여 분석을 실시하였다. 실험실 내 재현성(WLR) 및 실험실 간 재현성(BLR)에 대한 통계분석 결과를 표와 그림으로 제시하였고, 급내상관계수(ICC)와 Bland-Altman 플롯 분석을 이용하여 기존의 OECD TG 492의 기준시험법들과의(validated reference method) 비교분석을 을 통해 재현성 및 시험법의 호환성을 확인하였다. 또한, 추가로 카파 분석을 수행하여 실험실 내 및 실험실 간 일치도의 수준을 확인하였다. 안자극성에 대한 예측력은 95% Wilson 신뢰구간 및 Bootstrap resampling 방법을 통해 신뢰구간을 산출하였다. 또한, MCTT HCETM 시험법의 예측력에 대한 신뢰도를 높이기 위하여 총 141개 시험물질에 대한 보완시험을 추가적으로 시행하였으며, 그 결과값을 바탕으로 Bootstrap resampling을 통한 단순 백분위수 방법으로 95% 신뢰구간을 산출하였다. 종합적으로 MCTT HCETM 안자극 시험법은 실험실 내 재현성 92.2%, 실험실 간 재현성 93.3%를 보이며 유사시험법 평가기준 (Performance Standard, PS; WLR ≥ 90%, BLR ≥ 85%)의 기준을 충족하였다. ICC 분석 및 Bland-Altman 플롯 결과 또한 허용범위내 WLR 및 BLR을 나타냈으며, OECD TG 492의 다른 검증된 기준 시험법들과의 호환성을 제시하였다. 또한, 30개 및 총 141개의 기준 화학물질에 대한 예측력 결과는 Wilson 신뢰구간과 Bootstrap 신뢰구간 모두 PS에 명시된 민감도, 특이도 및 정확도 기준을 충족함으로써 MCTT HCETM 안자극시험법의 충분한 예측력을 확인할 수 있었다.