MCTT HCE™ 안자극 시험법의 신뢰도 및 예측력 검증을 위한 통계분석 연구

Abstract

MCTT HCE™ 안자극 시험법 (Eye irritation test, EIT) 검증연구의 목적은 본 시험법 자체의 신뢰도와 예측력을 검증하고 3D 인공 각막 조직을 이용한 안자극 시험법의 기준 시험법인 EpiOcular™ EIT와의 안자극 평가 능력의 유사성을 입증하는 것이다. 이를 위하여 다양한 통계적 접근을 통하여 새로운 시험법의 신뢰도와 상관성을 확립하고 가장 적합한 예측력 모델을 수립하고자 본 연구를 수행하였다. 본 검증연구에서는 3D 인공각막모델을 이용한 안자극 시험법의 유사 시험법 평가기준 (performance standard, PS)에 따라 제시된 기준물질 30종에 대해 3개 기관에서 3회 반복 실험한 결과를 통계 분석에 이용하였다. 먼저 MCTT HCE™ EIT의 실험실 내, 실험실 간 재현성을 확인하기 위하여 눈 자극성 판정 결과끼리의 일치도 평가 및 세포 생존율을 이용한 급내 상관계수(ICC) 분석, Bland-Altman plot 분석을 실시하였다. 재현성의 점 추정에는 이항분포에서의 신뢰구간 측정법인 Wilson의 신뢰구간을 이용하였다. 다음으로 기준 시험법과의 일치도를 확인하기 위해 급내 상관계수 분석과 Bland-Altman plot 분석 및 명목변수에 대한 일치도 검사인 Kappa 분석을 실시하였다. 시험법의 예측력을 평가하기 위하여 단일 표본집단을 이용한 분석에서 세 가지 통계적 접근법을 사용하였는데, individual lab 판정, Run sequence 다수결 판정, mispredicted test/total 판정법이 그것이고, 각각에 대해 Wilson의 신뢰구간을 구하였다. 또한 bootstrap resampling 방법을 통해 표본을 증폭시켜 신뢰구간을 구해보았다. 자극성 판정 결과의 일치도를 통해 확인한 실험실 내 재현성 평가결과 바이오솔루션에서 100%(95% 신뢰구간: 88.7 – 100), 다른 두 기관에서 각각 90% (95% 신뢰구간: 74.4 - 96.5)의 값을 나타내어 PS에서 제시된 90% 이상 기준을 만족시켰으며, 급내 상관계수 값이 세 기관에서 모두 0.9를 상회하여 좋은 재현성을 나타낸다고 할 수 있다. 실험실 간 재현성은 일치도 평가 결과 90% (95% 신뢰구간: 74.4 - 96.5)으로 확인되어 PS의 기준인 85%를 충족시켰으며, 평균 급내 상관계수 또한 0.989로서 기관 간 결과의 유사성이 높다고 볼 수 있다. 기준 시험법인 EpiOcular™와의 세포 생존율 비교에서 Bland-Altman Plot의 일치한계 외부에 있는 점이 있었으며, 주로 두 측정값의 평균값이 50인 부근의 지점에서 많은 차이를 보였다. 그러나 EpiOcular™를 포함시킨 급내 상관계수 분석에서 평균 급내 상관계수 값이 0.977로, MCTT HCE™ EIT 시험한 3개 기관과 결과의 유사성이 크다고 볼 수 있다. 또한 EpiOcular™와 세 기관을 각각 비교한 Kappa 분석 결과 바이오솔루션 0.9268, KCL 0.7805, 바이오톡스텍 0.7887로서 상당히 좋은 결과의 일치도를 보였다. 단일 표본집단에 대해 세 가지 방법으로 살펴본 예측력 지표에서, Individual lab 판정(민감도 91.11% (79.27 – 96.49), 특이도 62.22% (47.63 – 74.89), 정확도 76.67% (66.59 – 84.2)) 및 Run sequence 다수결 판정(민감도 93.33% (70.18 – 98.81), 특이도 66.67%(41.71 – 84.82), 정확도 80% (62.69-90.49))의 경우 예측력 지표가 모두 PS의 기준을 만족시켰지만, Wilson의 신뢰구간이 다소 넓은 편이었다. Mis predicted test/total 판정 법에 따르면(민감도 89.63%(83.34-93.72), 특이도 62.22% (53.81 – 69.96), 정확도 75.93% (70.49 – 80.64)) 예측력지표 중 민감도가 PS의 기준인 90% 이상을 만족시키지 못하였으나, Wilson의 신뢰구간이 좁은 편으로 상당히 신뢰도 있는 점 추정임을 확인할 수 있다. Bootstrap resampling을 통한 예측력 및 신뢰구간 추정에서, 반복 횟수를 1000, 5000, 10000회로 하여 분석을 수행하였으나 모든 그룹에서 예측력 지표는 동일하였으며, (민감도 86.7% (80-93.3), 특이도 60.0% (53.3-73.3), 정확도 76.7% (70.0-80.0)) bootstrap distribution 또한 동일한 양상을 보였다. Cut-off의 적절성을 평가하고 예측력을 보완하기 위한 추가 130종 물질에 대한 시험 결과, 전체적인 예측력 지표는 민감도 96.1%, 특이도 70.4%, 85.4%로 PS의 기준을 상회하는 좋은 결과를 보였으나 액체와 고체에서 양상이 다르게 나타났다. 이에 관한 ROC 곡선 분석 결과 MCTT HCE™ EIT는 액체의 예측력이 좋은 것으로 보이며, 액체는 30-35%, 고체는 55-60% 부근의 cut-off 값이 좋은 예측력을 갖게 하는 것으로 확인되었다. 본 연구를 통하여 새로운 안자극 대체시험법인 MCTT HCE™ EIT가 OECD TG 492 유사 시험법 평가기준이 제시하는 재현성과 예측력 기준을 충족시키는 것을 확인할 수 있었다. 뿐만 아니라 추가적인 분석에 의해 기준 시험법과의 결과의 상관성이 높다는 것을 확인하였다. 그러나 Bootstrap resampling 에서의 분포 양상이 고르지 않고, Mispredicted test/total 판정법에서의 예측력이 PS의 기준을 충족시키지 못해 추가적인 예측력 보완을 위한 노력이 있어야 할 것으로 보인다.;This statistical analysis for the validation study of MCTT HCE™ eye irritation test (EIT) intends to verify the reproducibility, relevance and predictive capacity of the new EIT. Following the OECD performance standard (PS), the validation study should be performed with 3 repeated experiments in 3 independent laboratories for 30 reference chemicals. The within- (WLR) and the between-laboratory reproducibility (BLR) were evaluated on the concordance of eye irritancy prediction with 95% Wilson’s Confidence intervals (CIs). In addition, the analysis of intra-class correlation coefficient (ICC), Bland-Altman plot and Kappa analysis were applied to confirm the reproducibility and agreement with reference EpiOcular™ EIT. The predictive capacity is calculated in 3 approaches, 1) Individual lab prediction, 2) Majority of run sequences and 3) Mis-predicted test/total prediction. The predictive capacity indicators (sensitivity, specificity and accuracy) were presented with 95% Wilson’s CIs. Also the Bootstrap resampling was performed to express the 95% CI by the simple percentile methods. In conclusion, WLR and BLR met the PS and the ICC and Bland-Altman plot suggested excellent reproducibility and relevance. The Predictive capacity from 3) mispredicted test/total prediction presents the sensitivity below the standard, but the range of 95% CI was smallest. Bootstrap resampling methods show adequate confidence intervals and predictive capacity.