삼차원 경동맥 TOF 자기공명 혈관조영 영상을 활용한 딥러닝 전이학습 기반 뇌백질변성 부피 예측

Abstract

본 연구의 목적은 딥러닝(deep learning) 모델을 이용하여 삼차원(three- dimensional, 3D) 경동맥 TOF (Time-of-Flight) 자기공명 혈관조영(magnetic resonance angiography, MRA) 영상으로부터 뇌백질변성(white matter hyperintensity, WMH)의 부피를 예측하는 것이다. 본 연구는 2016 – 2021년 서울대학교병원에서 수집한 건강검진 데이터를 기반 으로 수행되었으며, 총 975명의 대상자에 대한 TOF-MRA 영상 데이터를 훈련 (training) 데이터 및 테스트(test) 데이터로 사용하였다. 딥러닝 모델을 구축하기 위해 먼저 경동맥 분할(carotid artery segmentation)을 수행하도록 V-Net 모델 을 훈련하였다. 그리고 훈련된 V-Net 모델을 활용하여 전이학습(transfer learning) 기반의 뇌백질변성 부피 예측 모델을 형성하였다. 전이학습 기반 모델 의 성능 평가를 위해 기존의 합성곱 신경망(convolutional neural network, CNN) 모델(ResNet, Inception-ResNet-v2, and SFCN)을 학습시켜 뇌백질변성 부피 예 측의 비교 모델을 구축하였다. 연구에서 사용된 데이터세트가 불균형 데이터 문제를 가지고 있어, 이를 해결하 기 위해 LDS (Label distribution smoothing), FDS (Feature distribution smoothing), Ranking Loss와 같은 기법을 적용하였다. 구축된 딥러닝 모델은 평균 절대 오차(mean absolute error, MAE), 평균 제곱 근 오차(root mean squared error, RMSE), 결정계수(coefficient of determination; R-squared score, R2), 피어슨 상관계수(Pearson correlation coefficient, PCC)를 통해 성능을 평가하였다. 본 연구에서 구현한 딥러닝 모델은 평균 절대 오차 0.304, 평균 제곱근 오차 0.396, 결정계수 0.26, 피어슨 상관계수 0.519의 성능 을 나타냈다. 또한 Grad-CAM (Gradient-weighted class activation mapping) 기 법을 이용하여 TOF-MRA 영상에서 어느 영역이 뇌백질변성 부피 예측에 기여하 는지 평가하였으며, 이를 통해 경동맥이 뇌백질변성 부피 예측에 높은 영향력을 가지고 있음을 확인하였다. 본 연구에서 구현한 전이학습 기반 CNN 모델을 활용하면 뇌 MRI 영상 없이 경동맥 TOF-MRA 영상만으로도 뇌백질변성 부피를 예측할 수 있다. 따라서 향 후에 딥러닝 기술과 경동맥 TOF-MRA 영상을 활용한 뇌백질변성 진단을 통해 인지장애 또는 뇌혈관질환의 예방에 대한 중요한 정보를 손쉽게 제공할 수 있을 것으로 기대된다.;Carotid arterial features, such as carotid plaques, carotid intima-media thickness, arterial stiffness, and remodeling, have been suggested to be associated with white matter hyperintensity (WMH). Considering this assumption, this study aims to build deep learning models to estimate WMH volumes based solely on time-of-flight (TOF) carotid magnetic resonance angiography (MRA) images. Our dataset includes a total of 975 carotid MRI scans obtained from Seoul National University Hospital. Using the carotid MRI scans, we attempt the transfer learning method to enhance the performance of WMH volume prediction applying pre-trained V-Net models developed for carotid artery segmentation. Because TOF-MRA images involve relatively simple image contrast compared to natural images, we modify the V-Net architecture by reducing down-sampling and up-sampling blocks. We then assess the performance of our approach by comparing the results from alternative CNN models (ResNet, Inception-ResNet-v2, and SFCN) trained for WMH volume prediction. Moreover, we apply label distribution smoothing (LDS), feature distribution smoothing (FDS), and ranking loss based on Spearman’s rank correlation coefficient to our transfer learning-based model to resolve the imbalanced data distribution. As a result, it shows the best performance with mean absolute error (MAE) of 0.304, root mean squared error (RMSE) of 0.396, R-squared score of 0.26, and Pearson correlation coefficient (PCC) of 0.519 using our transfer learning-based model without employing data imbalance methods. By applying Grad-CAM, we provide empirical evidence that our proposed transfer learning model estimates the WMH volume derived from carotid arterial features. Hence, this study shows the feasibility of estimating abnormal WMH volumes from neck MRA images using the transfer learning method.