다양한 통계적 접근을 통한 새로운 국소림프절시험법의 예측력 평가 및 기존 시험법과의 비교

Abstract

The purpose of the study was to assess the novel non-radioisotopic local lymph node assay as a skin sensitization alternative method and it was composed of two parts. First, we evaluated the predictive capacity of the LLNA:BrdU-FCM (5-bromo-2'-deoxyuridine-flow cytometry) assay with a cutoff approach and inferential statistics. For analysis, 18 recommended reference substances in OECD TG429 were tested with a concurrent positive control, hexylcinnamaldehyde 25 % (PC), and the stimulation index (SI) representing the fold increase in lymph node cells over the vehicle control was calculated. And then, we examined the correlation and agreement of LLNA variants, LLNA: DA, LLNA: BrdU-ELISA, LNCC and LLNA: BrdU-FCM, with tLLNA in potency subcategorization for 18 reference substances. ECt values were collected through literature review and experiments. Potency subcategorization compliant to UN GHS or conventional 5 levels were compared. The results, cutoff approach was produced 88.9% accuracy in optimal cutoff value 2.7 obtained by a receiver operating characteristic curve. For inferential statistics, we applied the principle that sensitizer’s SI values be statistically higher than negative control. First, accuracy was 72.2 % through the parametric one-sided t-test or non-parametric Wilcoxon rank-sum test analysis. Next, one-way ANOVA or Kruskal-Wallis analysis produced 77.8 accuracy. These results indicated that cutoff approach produced the highest accuracy. The correlation and agreement analysis results were as follows. Our test method presented the strongest correlation(r=0.866) in Pearson analysis and the highest agreement in Bland-Altman analysis with tLLNA method using ECt values. On the other hand, LNCC test method was moderately correlated(r=0.681) with tLLNA and the lowest correlation coefficient of LLNA variants. Also concordance of UN GHS subcategorization was the highest agreement for LLNA:BrdU-FCM(k= 0.810) and the lowest for LNCC. In conclusion, LLNA:BrdU-FCM test’s predictive capacity is enough to replace tLLNA test method and the correlation and agreement with tLLNA are not inferior to other test methods as a skin sensitization alternative method.;본 연구는 국내 개발의 LLNA 동물대체시험법인 LLNA:BrdU-FCM 시험법을 평가하기 위해 수행되었으며, 두 가지 part로 구성되어 있다. 먼저 Part A는 LLNA:BrdU-FCM 시험법으로 수행한 결과를 performance standard(PS)에 의거하여 예측력을 평가하고, 더불어 위와 같은 새로운 시험법의 예측력을 평가하고자 할 때, 다양한 추론통계 방법을 이용할 수 있을지에 대한 가능성을 모색하고자 수행되었다. 그 다음 Part B 연구는 현재 gold standard 시험법인 traditional LLNA(tLLNA) 시험법과 이에 대한 동물대체시험법 LLNA: DA, LLNA: BrdU-ELISA, LNCC 및 국내 개발의 LLNA: BrdU-FCM 시험법이 얼마나 상관성 및 일치도를 가지는지 여러 통계방법을 이용해 평가하고, 궁극적으로 tLLNA 시험법을 대체가능한지 고찰해보고자 수행되었다. 본 연구를 위해 OECD PS429에 필수시험물질로 명시된 18물질에 대해 LLNA:BrdU-FCM 시험법으로 시험을 수행하였으며, 그 결과로 PS에 의거한 예측력평가 방법인 cutoff 접근법을 통해 예측력을 평가하였다. 또한 추론통계방법을 통해 예측력을 평가할 수 있는지 그 가능성을 연구하기 위해 independent T-test/Wilcoxon rank sum test와 one-way ANOVA/Kruskal Walis 등을 적용하여 Part A 연구를 수행하였다. Part B 연구를 위해서는 Part A에서의 시험결과를 토대로 LLNA:BrdU-FCM시험법의 ECt값을 산출하고, 다른 네 시험법은 문헌고찰을 통해 동일하게 필수시험물질 18물질의 각 ECt값을 수집하였다. 또한 이를 토대로 필수시험물질 18물질의 감작성 정도를 3 level과 5 level의 카테고리로 분류하였다. 이렇게 정리한 연속형변수인 ECt값으로의 상관성 및 일치도 평가에는 wilcoxon matched pairs signed ranks test, Bland-Altman plot, pearson/ICC 등의 방법이 이용되었으며, 감작성 카테고리 분류결과로의 상관성 및 일치도 평가에는 McNemar 검정, spearman/weighted kappa방법이 적용되었다. Part A의 결과를 살펴보면 PS에 의거한 예측력 평가결과 민감도 84.6%, 특이도 100.0%, 정확도 88.9%로 나타났으며, 기존의 다른 동물대체시험법(LLNA: DA, LLNA:BrdU-ELISA, LNCC)와 비교하였을 때 동일하거나 높은 정확도를 보였다. 추론통계법을 이용한 분석 결과 mean SI값이 최대인 군과 음성대조군을 비교한 independent T-test/Wilcoxon rank sum test 분석에서는 정확도가 72.2%였으며, 음성대조군과 저, 중, 고농도의 SI mean을 이용한 one-way ANOVA/Kruskal Walis 분석에서는 정확도 77.8%로 나타나 PS에 의거한 예측력 평가방법보다 다소 낮은 정확도를 나타냈다. 이는 원래 비감작성 물질이었던 물질이 감작성으로 판정이 뒤바뀌어 정확도가 낮아진 것으로 확인되었다. Part B의 결과는 우선 ECt값을 이용하여 bland-altman plot, scatter plot 등의 기술통계 방법을 이용해 gold standard 시험법인 tLLNA 시험법과 비교해 본 결과 상관성이 있을 것으로 보였다. 뒤이어 유의적인 차이가 있는지 Wilcoxon matched pair signed ranks test/ McNemar 검정과 같은 추론통계법으로 분석한 결과 대부분 유의한 차이를 보이지 않는 것으로 분석되었다. 이후 Correlation coefficient 방법을 이용해 시험법 간의 상관성 및 일치도를 분석한 결과는 다음과 같다. ECt 값으로 Pearson 을 적용하여 두 시험법 간의 상관성을 분석한 결과, tLLNA는 LLNA: BrdU-FCM과 가장 높은 상관계수(r=0.866)를 가졌으며, LLNA: DA (r=0.811), LLNA: BrdU-ELISA(r=0.779)와도 strong correlation을 보였지만 LNCC와는 0.681의 moderate correlation한 관계인 것으로 관찰되었다. 또한 Non-sensitizer와 Cat1A, Cat1B이렇게 총 3 level로 나눈 감작성 category의 weighted kappa결과 또한 마찬가지로 tLLNA는 LLNA:BrdU-FCM과 가장 높은 일치도(k=0.810)를 보여 almost perfect agreement를 나타냈으며, LLNA:DA, LLNA:BrdU-ELISA 시험법과는 substantial agreement를 보였다. spearman 결과 r=0.794-0.811로 큰 차이 없이 tLLNA는 LNCC 시험법을 제외한 나머지 세 시험법과 strong correlation 을 보였다. 다만 LNCC는 ECt를 이용한 상관분석 결과와 일관되게 tLLNA와 가장 낮은 상관관계 및 일치도를 가지는 것으로 평가되었다. 결론적으로 LLNA:BrdU-FCM 시험법은 타 시험법과 비교하였을 때 비열등한 예측력을 가지는 것으로 평가되었다. 본 연구의 한계점으로는 시험에 사용한 물질 수(18물질) 즉 표본이 적다는 점과 추론통계법을 이용하는 이상적인 예측력평가모델을 제시하는 데까지는 미치지 못하였다는 점이 있으나, 표본의 분포를 고려하고자 추론통계 방법을 이용한 연구를 시도하였다는 점에서 의의를 가진다. 또한 LLNA:BrdU-FCM 시험법은 tLLNA와도 타 시험법보다 높은 상관 및 카파계수를 가지거나 비열등함을 다양한 통계적 방법을 이용해 입증하였으며, 이러한 gold standard 시험법과 새로운 대체시험법의 agreement 비교에 있어서 하나의 방법보다는 여러 방법을 적용하는 것이 종합적인 평가가 가능하다는 것을 확인하였다.