Anatomical Landmark Detection Using Attention Modules and Geometric Data Augmentation in X-ray Images

Abstract

Detecting and measuring distances of major anatomical landmarks in medical images are of paramount clinical importance in diagnosis, treatment, and medical applications. Early studies for existing automation were time-consuming, required experts, and had limitations in that they could not be flexibly applied to new data. Recently, automated prediction systems are being developed based on the developing deep learning technology. This approach can perform reproducible analysis with large amounts of data while overcoming the existing disadvantages. Therefore, in this study, a model for an efficient automated landmark detection system was designed and evaluated. Due to the nature of medical data, there is a limitation in that the number of samples is insufficient. When training a model using deep learning, a large amount of data is conducive to learning, so a large amount of geometric augmentation method was devised to deal with the limitations of input data. In addition, since various human tissues on the path through which photons pass are displayed in the X-ray image, it is difficult to identify landmarks compared to general nature images or 3D modality images. Considering this, the performance of the proposed network was evaluated using geometrical indicators and success percentages for quantitative evaluation. The proposed single network can perform detection on the trained model after augmentation. Therefore, to improve detection performance, a powerful geometric augmentation method was additionally devised to convert 16 images from one image into small patches to include key points. However, since strong geometric augmentation does not learn well, it suggests that an ideal model should be designed to learn the correlation of each landmark in the image context together. Finally, we derived markers that ensure stable detection among the Cephalometric anatomical landmarks, and these markers are expected to have high clinical utility.;의료 영상에서 주요 해부학적 랜드마크를 감지하고 거리를 계측하는 것은 진단과 치료 및 의료 응용 분야에서 매우 중요한 임상학적 의의를 지니고 있다. 기존의 자동화를 위한 초기 연구들은 시간 소모적이고 전문가를 필요로 했으며 새로운 데이터에 유연하게 적용할 수 없다는 한계점이 있었다. 최근에는 발전하고 있는 딥러닝 기술을 바탕으로 자동화 예측 시스템들이 개발되고 있다. 이 접근 방식은 기존의 단점들을 극복하면서 대량의 데이터로 재현 가능한 분석을 할 수 있다. 따라서 본 연구에서는 효율적인 자동화 랜드마크 검출 시스템을 위한 모델을 설계하고 평가하였다. 의료 데이터의 특성상 샘플 수가 부족하다는 한계가 있다. 딥러닝을 이용한 모델 훈련 시 많은 양의 데이터는 학습에 도움이 되기 때문에 데이터 한계를 극복할 수 있는 다량의 기하학적인 증강 방법을 고안하였다. 또한, X-ray 영상에는 광자가 통과하는 경로 상의 여러 인체조직들이 표시되기 때문에 랜드마크 식별이 일반 자연 이미지 또는 삼차원 모달리티 영상에 비해 어렵다. 이를 고려하여 제안된 네트워크의 성능은 정량적 평가를 위해 기하학적 지표와 성공 백분율을 이용하여 평가하였다. 제안된 단일 네트워크는 증강 후 훈련된 모델에서 안정적인 검출을 수행할 수 있다. 따라서 검출 성능을 높이기 위해 한 이미지에서 16개의 이미지를 키포인트를 포함하도록 작은 패치 형태로 자른 후 변환하는 강력한 기하학적 증강 방법을 추가적으로 고안하였다. 그러나 강력한 기하학적 증강은 학습이 잘 되지 않기 때문에 이상적인 모델은 각 랜드마크가 이미지 맥락에서 가지는 상관관계를 함께 학습하는 방향으로 설계되어야 함을 확인하였다. 마지막으로 주요 두개골 랜드마크들 중 안정적인 검출이 보장되는 마커들을 도출하였으며, 이러한 마커들은 임상적인 활용 가능성이 높을 것으로 기대된다.