KeraSkinTM 피부자극 시험법의 다양한 통계적방법을 통한 예측력 평가 및 검증연구

Abstract

본 연구의 목적은 실제 인간의 피부와 유사한 대사 능력을 나타내는 것으로 보고되는 인공피부모델(Reconstructed Human Epidermis model, RhE)인 KeraSkinTM 피부 자극 시험법 (skin irritation test, SIT)을 사용하여 새로운 대체시험법의 신뢰도와 상관성을 검증하고 예측력을 평가하고자 하는 것이다. 본 검증 연구는 인공피부모델을 이용한 피부자극 시험법의 평가기준 (Performance Standard, PS)에서 제안하는 20개 필수시험물질을 3개 기관에서 3회 반복 실험하였고 이 결과를 통계 분석에 이용하였다. KeraSkinTM SIT의 세포 생존율을 측정해 자극성, 비자극성을 판정하여 일치도를 확인하였다. 실험실 간, 실험실 내 재현성을 확인하기 위해 이항분포에서 일반적으로 사용되는 Wilson의 95% 신뢰 구간이 제시되었으며 급내 상관계수(Intra-class Correlation Coefficient, ICC)분석 및 Bland-Altman plot 분석방법을 수행하였다. 기준 시험법들과의 일치도를 확인하기 위해 급내 상관계수 및 Bland-Altman plot, Cohen’s Kappa 분석방법을 수행하였다. KeraSkinTM SIT의 예측력을 확인하기 위해서 예측력을 산출하는 Mis-predicted test/total, Individual lab, Run sequence majority 방법 세 가지 판정법을 사용하여 민감도, 특이도, 정확도를 산출하고 ROC 곡선을 통한 최적의 cut-off 값을 분석하였다. 이때, 66개의 추가적인 물질을 통한 추가 예측력 분석을 수행하였고 물질을 액체, 고체별로 구분한 예측력도 분석하였다. 세 시험 기관의 실험실 내 재현성은 COSMAX에서 95%(95% Wilson’s CI: 76.4-99.1), 나머지 두 기관에서 100%(95% Wilson’s CI: 83.9-100) 값을 보여 PS에서 제시하고 있는 실험실 내≥90% 기준을 만족했으며, 세 기관 모두 급내 상관계수 값이 0.9보다 더 높아 매우 좋은 재현성을 나타낸다고 할 수 있다. 실험실 간 재현성은 100%(95% Wilson’s CI: 83.9-100)로 PS 기준인 실험실 간≥80% 기준을 만족했으며, 급내 상관계수 값은 0.987로 매우 좋은 재현성을 보여줌으로써 실험실 간, 실험실 내 실험 결과는 상당히 높은 재현성이 있다고 할 수 있다. 세 가지 예측력 산출 결과 1) Mis-predicted test/total는 민감도 98.9%(95% Wilson’s CI: 93.97-99.80), 특이도 70%(95% Wilson’s CI: 59.87-78.49), 정확도 84.4%(95% Wilson’s CI: 78.44-89.01) 그리고 2) Individual lab는 민감도 100%(95% Wilson’s CI: 88.65-100), 특이도 70%(95% Wilson’s CI: 52.12-83.34), 정확도 85%(95% Wilson’s CI: 73.89-91.90) 3) Run-sequence majority 민감도 100%(95% Wilson’s CI: 72.25-100), 특이도 70%(95% Wilson’s CI: 39.68-89.32), 정확도 85%(95% Wilson’s CI: 63.93-94.76)로 모든 예측력 지표가 PS의 기준인 민감도≥80%, 특이도≥70%, 정확도≥75%을 모두 만족하였다. ROC 곡선을 이용해 분석한 최적의 cut-off 값은 30-75%를 보여주며 이 범위에서 기존 OECD TG 439에서 제시하는 cut-off 값인 50%를 포함하고 있었다. 기존 필수시험물질 20종 이외에 다양한 물질의 시험결과를 확보하여 추가적인 예측력을 평가하기 위해 추가된 46종 물질을 포함한 총 66종 물질에 대한 시험 결과 민감도 95.2%, 특이도 82.2% 및 정확도 86.4%로 OECD가 제시하고 있는 PS를 만족하였다. 또한, 수집된 시험결과를 통해 분석한 ROC 곡선 분석에서 최적의 cut-off는 60%-75% 범위의 값을 보였으며 AUC는 0.7235로 적절한 수준의 예측력을 보이는 것을 확인할 수 있었다. ;We conducted a me-too validation study to confirm the reproducibility, reliability, and predictive capacity of KeraSkinTM skin irritation test (SIT) as a me-too method of OECD TG 439. With 20 reference chemicals, within-laboratory reproducibility (WLR) of KeraSkin™ SIT in the decision of irritant or non-irritant was 100%, 100%, and 95% while between-laboratory reproducibility (BLR) was 100%, which met the criteria of performance standard (PS, WLR≥90%, BLR≥80%). WLR and BLR were further confirmed with intra-class correlation (ICC, coefficients >0.950). WLR and BLR in raw data (viability) were also shown with a scatter plot and Bland-Altman plot. Comparison with existing VRMs with Bland-Altman plot, ICC and kappa statistics confirmed the compatibility of KeraSkin™ SIT with OECD TG 439. The predictive capacity of Kreaskin™ SIT was estimated with 20 reference chemicals (the sensitivity of 98.9%, the specificity of 70%, and the accuracy of 84.4%) and additional 46 chemicals (for 66 chemicals [20+46 chemicals, the sensitivity, specificity and accuracy: 95.2%, 82.2% and 86.4%]). The receiver operating characteristic (ROC) analysis suggested a potential improvement of the predictive capacity, especially sensitivity, when changing cut-off (50% → 60-75%). Collectively, the me-too validation study demonstrated that KeraSkin™ SIT can be a new me-too method for OECD TG 439.