다중 이동 패치-그래프 어텐션 모듈 (MPGAT)을 이용한 뇌 나이 예측 알고리즘 개발

Abstract

시간에 따라 사람은 나이가 들며 인간의 지적능력을 담당하는 뇌 또한 인지 기 능 저하와 같은 여러 노화작용을 겪게 된다. 이 현상은 보편적으로 모든 개개인 에 대해 관측되지만 때로는 유전학적 혹은 환경적 요인에 의해 평균보다 뇌 노화 가 더 빠르게 진행되는 경우가 있다. 뇌의 노화 상태를 컴퓨터 알고리즘을 사용 해 알아낼 수 있다면 예측된 뇌 나이(brain age)는 뇌 신경성 질환들의 예측 바이 오마커로 활용될 수 있을 것이다. 따라서 뇌 나이 예측 모델을 개발하는 것은 중 요한 과제 중 하나이다. 대다수의 기존 연구들은 T1 강조 3D 자기공명 영상 데이 터에 컴퓨터 비전 딥러닝 기술인 합성곱층 신경망을 적용하여 뇌 나이를 학습시 켰다. 하지만 합성곱층은 주어진 합성곱 필터 크기에 맞는 로컬한 특징 값을 추 출한다는 점에서 전체 영상 데이터의 글로벌한 특징을 알기 어렵다. 따라서 기존 의 합성곱층 신경망은 입력 데이터인 뇌의 특징을 잘 반영하지 못한다. 뇌는 각 각의 영역이 고립되어 독립적으로 작동하는 것이 아니라 여러 작은 영역들이 서 로 상호작용하며 작동하기 때문이다. 본 논문에서는 뇌의 작동 방식을 모방한 예측 모델을 새롭게 제시한다. 연구에 서는 다중 이동 패치-그래프 어텐션 모듈(MPGAT)을 개발하여 합성곱층 신경망에 서도 먼 영역 간의 관계성을 고려해주었다. MPGAT은 영상 특징 맵으로부터 그 래프 어텐션을 수행하여 모델이 이미지 영역들의 관계성을 포착하며 학습하도록 한다. 기존의 어텐션 모듈들과 비교했을 때 MPGAT은 크게 네 가지의 장점을 지 닌다. 먼저, MPGAT은 어떠한 합성곱층 신경망 모델에 대해서도 쉽게 탈부착이 가능하다. 모듈 내부에 이미지 특징 맵을 그래프 자료구조로 변환하고 다시 이 그래프를 특징 맵으로 변환하는 과정이 있기 때문에 합성곱층과 함께 사용할 수 있다. 두 번째로 MPGAT은 특징 맵 영역들 간의 직접적이고 간접적인 연결성을 모두 탐색한다. 특징 맵을 그래프로 변환한 이후, 노드 사이의 유사도 함수 계산 과정을 마로코브 프로세스로 모델링하여 노드 간 직,간접적인 연결성을 간단하게 추정하였다. 셋째, MPGAT은 효율적으로 어텐션 계수를 계산한다. 게이트 운영 함수를 통해 타겟 노드와 관련성이 높은 노드들의 집합만을 가지고 노드를 업데 이트하게 된다. 마지막으로 MPGAT은 계층적인 구조를 통해 특징 맵을 풍부하게 표현한다. 서로 다른 패치 사이즈를 지니는 어텐션 브랜치를 여러 번 수행함으로 써그래프형성과정에서생길수있는정보손실을최소화하였다. MPGAT은 이후 sSE-ResNet18에 부착되어 최종적인 예측 모델을 구성하였다. 2,788명의 정상군 3D T1 강조 영상 데이터에 대해 진행된 실험에서 MPGAT-sSE- ResNet18은 2.957년의 평균 절대 오차(MAE)와 0.958의 피어슨 상관 계수(PCC), 그리고 0.903의 결정 계수(R2)를 기록하였다. 실험을 통해 sSE-ResNet18을 단독으 로 사용했을 때보다 MPGAT을 함께 사용했을 때 MAE가 0.282년 감소한 것을 확 인하였고 MPGAT-sSE-ResNet18이 기존의 이미지 인식 및 뇌 나이 예측에서의 SOTA 모델들보다 더 좋은 성능을 지님을 검증하였다. 본 연구를 통해 다중 이동 패치-그래프 어텐션 모듈 (MPGAT)을 뇌 나이 예측을 도와주는 새로운 모듈로 제안한다.;As people get older, various aging processes occur in the brain. This phenomenon is universally observed in all individuals, but brain aging can accelerate due to genetic or environmental factors. If the aging state of the brain can be detected using a computer prediction algorithm, it can be used as a predictive biomarker for a wide range of neurological diseases. Therefore, developing a brain age prediction model is one of the important tasks in medical imaging domain. Most previous studies inferred brain age by applying a convolutional neural network (a computer vision deep learning technique) to 3D T1-weighted MR image data. However, CNN focuses mainly on spatially local features since convolution filters of relatively small size are learned to find pixel relationship in a local neighborhood. Therefore, the existing convolutional layer neural network has a disadvantage in that it does not reflect the characteristics of brain data. Rather than working in isolation, different brain regions interact with each other through their neurological connections in an orchestrated manner. In this paper, we present a new prediction model that mimics the brain connectivity. In this study, the Multi hop Patch2Graph Attention module(MPGAT) was developed to consider the relationship between distant regions in convolutional neural networks. MPGAT performs graph attention from image feature maps, allowing the model to capture and learn the relationships between image regions. MPGAT has four major advantages over existing attention modules. To begin, MPGAT can be easily attached and detached from any convolutional neural network model. It can be used with a convolutional layer because the module converts an image feature map into a graph data structure and then back into the image feature map. Second, MPGAT explores both direct and indirect connectivity between feature map regions. To enhance the representative capacity of the brain connection, we modified the edge matrix in a way that can consider up to mth-order neighborhood information. Third, MPGAT calculates the attention coefficient efficiently. The gate operation function updates nodes by considering only a subset of nodes that are highly related to the target node. Finally, MPGAT expresses feature maps richly via a hierarchical structure. By performing attention branches with different patch sizes several times, information loss during the graph formation process is minimized. We attached MPGAT to sSE-ResNet18 to construct the final predictive model. In an experiment conducted on 3D T1-weighted image data of 2,788 normal subjects, MPGAT-sSE-ResNet18 recorded mean absolute error(MAE) of 2.957 years, Pearson's correlation coefficient(PCC) of 0.958, and coefficient of determination(R2) of 0.903. The experiment confirmed that using MPGAT with sSE-ResNet18 reduced MAE by 0.282 years compared to using sSE-ResNet18 only. Also, MPGAT- sSE-ResNet18 performed better than SOTA models in conventional image recognition and brain age prediction area. Through this study, we propose a Multi hop Patch2Graph Attention (MPGAT) as a new module that leads the high performance in the prediction of brain age.