Advancing Deep Learning Framework for Anatomical Landmark Detection

Abstract

Anatomical landmark detection refers to the technique of automatically identifying coordinates of significant anatomical regions in medical imaging. Medical experts use anatomical landmarks to measure distances between key areas, track tumor sizes, or determine bone positions in orthopedic surgeries. Traditionally, landmark detection has been manually performed by medical experts, leading to highly inefficient processes. Recently, automatic detection approaches using deep learning have been proposed, predominantly based on Convolutional Neural Networks (CNNs), Transformers, or Graph Neural Networks (GNNs). However, these methods face limitations due to their reliance on a single heatmap resolution for final prediction, which can lead to increased variance or bias in the results, depending on the resolution size. This study proposes a HTC backbone structure that merges the key strengths of CNNs and Transformers. Additionally, a multi-resolution heatmap learning strategy is introduced to balance the variance and bias in the predicted landmarks. The proposed method achieved a Mean Radial Error (MRE) of 1.75 mm on the XCAT CT dataset. Furthermore, for 3D volume datasets such as CT images, a 3-stage landmark prediction refinement method is proposed. This method integrates and reconstructs individual 2D heatmaps detected in multi-view into 3D, thereby advancing landmark detection performance in subsequent training phases. This process involves initial landmark prediction, 3D Gaussian heatmap reconstruction (3D-2D intensity mapping), and refined landmark prediction. The enhanced detection performance of the proposed 3-stage refinement method, with an MRE of 1.55 mm on XCAT CT data, outperforms all previously published state-of-the-art (SOTA) models. This research is notable for its use of multi-resolution learning and multi-view heatmap reconstruction, advancing the 2D landmark detection task and laying a solid foundation for future studies in 3D landmark detection.;해부학적 랜드마크의 자동 검출은 의료 영상에서 해부학적으로 중요한 의미를 갖는 부위의 좌표를 자동으로 식별하는 기술을 말한다. 의료 전문가들은 해부학적 랜드마크의 마킹을 통해 주요 인체 영역 간의 거리를 측정하거나, 종양의 크기를 추적하거나, 또는 교정술에서 뼈의 위치를 정교하게 파악한다. 전통적으로 랜드마크 검출은 의사와 같은 전문가에 의한 수동 작업으로 이루어졌으나, 이는 매우 비효율적인 과정을 초래한다. 따라서 최근에는 딥러닝을 사용한 랜드마크 자동 검출 기법들이 제안되고 있는 추세이며, 이는 주로 합성곱 신경망, 트랜스포머, 혹은 그래프 신경망을 기반으로 한다. 그러나 기존의 접근 방식들은 대부분 최종 랜드마크 예측 시에 단일 해상도의 히트맵에만 의존한다는 특징을 가지며, 결과적으로 예측 결과의 분산 혹은 편향이 증가하여 큰 오차 범위가 발생하게 된다는 한계점이 있다. 본 연구에서는 딥러닝 기반 학습을 위해 합성곱 신경망과 트랜스포머의 장점을 결합한 하이브리드 구조의 새로운 백본 네트워크 구조를 제안한다. 또한, 예측된 랜드마크의 분산과 편향 사이의 균형을 맞추기 위해 다중 해상도 히트맵 학습 기법을 제안하여 모델의 학습 손실에 영향을 주도록 한다. 제안된 다중 해상도 학습 기법은 XCAT CT 팬텀 데이터셋에서 1.75 mm의 평균 반경 오차 (MRE) 성능을 달성하였다. 더 나아가, 3차원 볼륨을 갖는 CT 영상에 적용할 수 있는, 3-단계 랜드마크 검출 보정 기법을 제안한다. 제안된 3-단계 보정 기법은 먼저 3차원 공간 상에 존재하는 환자의 CT 영상을 360도의 다각도로 투영한 뒤 2차원 상에서 랜드마크 검출을 수행한다. 이후, 검출된 개별적인 2차원 히트맵을 3차원으로 재구성하여 3차원 상의 참조 랜드마크 좌표를 획득하고, 참조 랜드마크의 정보를 후속 학습 단계에서 활용하도록 구성되었다. 이는 CT 영상이 갖는 3차원의 기하학적 정보의 활용과 히트맵 재구성, 3차원 참조 좌표 획득, 그리고 3차원-2차원 간의 참조 좌표 매핑을 포함한다. 제안된 3-단계 방법의 향상된 검출 성능은 XCAT CT 데이터에서 1.55 mm의 평균 반경 오차 (MRE)로 검증되었으며 기존에 발표된 모든 최신 모델들을 능가하는 성능을 보여주었다. 이 연구는 다중 해상도 히트맵 학습과 히트맵 재구성을 통해 3차원 참조 좌표를 구하여 랜드마크 검출의 성능을 발전시켰다는 점에 있어서 독창성을 가지며, 이는 향후 3차원 랜드마크 검출을 위한 연구의 탄탄한 기반을 제공할 것으로 보인다.