Deep Learning Based Prediction of High Grade Squamous Intraepithelial Lesion on Colposcopy

Abstract

Introduction: Cervical cancer remains one of the most prevalent cancers among women globally. Early detection through screening plays a critical role in reducing mortality due to its slow progression from precancerous lesions, which are categorized as cervical intraepithelial neoplasia (CIN). High-grade squamous intraepithelial lesions (HSIL) represent CIN grades requiring surgical intervention, while low-grade lesions (LSIL) often necessitate only conservative management. Currently, cervical cancer screening typically involves the Papanicolaou (Pap) test and human papillomavirus (HPV) testing. However, when abnormalities are detected, colposcopy is performed to further assess the cervix for CIN. Colposcopy relies on expert interpretation of cervical features, such as acetowhite epithelium and vascular patterns, yet diagnostic accuracy can vary significantly across practitioners. As a result, there is a need for artificial intelligence (AI) models to aid in the interpretation of colposcopic images, especially in low-resource settings with limited access to experts for colposcopy. This study aimed to evaluate the accuracy of a convolutional neural network (CNN) in detecting HSIL from colposcopic images, particularly by examining the potential improvement in accuracy when acetowhite lesion segmentation is incorporated. Additionally, we utilized Gradient-weighted Class Activation Mapping (Grad-CAM) to interpret the model's focus areas and ensure alignment with clinical decision-making processes. Material and method: The study utilized a comprehensive dataset of 3,699 colposcopic images collected from Jeju National University Hospital between 2008 and 2021. These images were carefully labeled based on histopathological results from colposcopy-guided biopsy or loop electrosurgical excision procedures (LEEP). Images were categorized as “normal” for LSIL or lesions not requiring treatment and as “abnormal” for HSIL cases requiring intervention. The dataset was expanded to 20,000 images via augmentation techniques such as cropping, flipping, and brightness adjustments. For training, validation, and testing, 14,000, 5,400, and 600 images were allocated, respectively. For classification, we employed ResNet-18, ResNet-50, and ResNet-101, models with varying depth to observe how model complexity impacts HSIL detection. The CNNs were trained solely on image data without additional clinical information. To aid classification, segmentation of acetowhite lesions was conducted with a VGG-19-based SegNet, applied to 100 annotated images, later augmented to 900 images. This produced a fourth channel of segmentation data, added to the original images for classification. Grad-CAM was used to visualize and interpret the CNN’s focal areas during classification. This allowed us to assess if the model prioritized regions, like acetowhite epithelium, which are clinically relevant for HSIL detection. Model performance was evaluated based on accuracy, sensitivity, and specificity, with expert diagnoses as reference points. Results: Without segmentation data, ResNet-18, ResNet-50, and ResNet-101 achieved classification accuracies of 70.2%, 66.2%, and 69.3%, respectively, which were slightly lower than expert accuracies of 74.6% and 73.0% on the same test set. After incorporating acetowhite lesion segmentation data, classification accuracy improved consistently across all ResNet models. ResNet-50 showed the most significant improvement, achieving an accuracy of 76.3%, which marked a 10.1% increase compared to its performance without segmentation. ResNet-18 and ResNet-101 also demonstrated increased accuracies of 74.8% each, bringing their results closer to expert levels. Sensitivity for HSIL detection also improved across the models, with ResNet-50 achieving a sensitivity of 69.8% and ResNet-101 reaching 72.8%. Grad-CAM visualizations revealed that, the models concentrated on areas with acetowhite epithelium after segmentation was added. Conclusion: This study presents a CNN-based model with acetowhite lesion segmentation that improves HSIL detection accuracy on par with colposcopy experts. The segmentation-based approach supports more precise and explainable AI classifications in colposcopy and demonstrates potential for real-world applications, especially in low-resource environments. Future advancements in this area could further improve the accuracy and reliability of AI-assisted cervical screening, making it a powerful tool for reducing cervical cancer incidence globally.;자궁경부암은 전 세계 여성에게 여전히 가장 흔한 암 중 하나이다. 전암 병변으로부터 서서히 진행되는 자궁경부암의 특성상, 조기 발견을 위한 검진은 사망률을 감소시키는 데 중요한 역할을 한다. 이 전암 병변은 자궁경부 상피내 종양(CIN)으로 분류되며, 고등급 편평 상피내 병변(HSIL)은 외과적 치료가 필요한 CIN 등급을 나타내고, 저등급 병변(LSIL)은 주의 깊게 경과 관찰을 하는 병변이다. 현재 자궁경부암 검진에는 파파니콜라우(Pap) 검사와 인유두종바이러스(HPV) 검사가 주로 사용된다. 그러나 이상이 발견되면, 자궁경부의 병변을 추가로 평가하기 위해 자궁경부 확대경 검사를 시행하게 된다. 자궁경부 확대경 검사는 백색 상피 및 혈관 패턴과 같은 자궁경부의 특징을 전문가가 해석하여 진단하지만, 진단 정확도는 검사자 간의 차이가 클 수 있다. 따라서 전문 인력이 부족한 저개발 국가 등에서 자궁경부 확대경 영상 해석을 지원할 수 있는 인공지능(AI) 모델의 필요성이 제기된다. 본 연구에서는 백색 상피 병변 세분화를 이용하여 HSIL을 검출하는 CNN 모델의 정확도를 평가하고, Gradient-weighted Class Activation Mapping (Grad-CAM)을 활용하여 모델의 집중 영역을 해석하고 임상적 의사결정과의 일치성을 확인하고자 하였다. 본 연구에서는 2008년부터 2021년까지 제주대학교병원에서 수집된 3,699개의 자궁경부 확대경 사진 데이터를 사용하였다. 이 사진들은 생검 결과에 따라 병리학적으로 분류되었다. LSIL 또는 그 이하의 치료가 필요하지 않은 병변은 "정상"으로, 치료가 필요한 HSIL은 "비정상"으로 분류하였다. 데이터셋은 크롭, 회전, 밝기 조정 등의 증강 기법을 통해 20,000개로 확대하였다. 이 중 14,000개는 훈련에, 5,400개는 검증에, 600개는 테스트에 할당하였다. HSIL 검출에 대한 모델 복잡도의 영향을 관찰하기 위해 깊이가 다른 ResNet-18, ResNet-50, ResNet-101 모델을 적용하였으며, CNN은 추가적인 임상 정보 없이 이미지 데이터만으로 훈련하였다. 분류를 돕기 위해 백색 상피 병변 세분화는 VGG-19 기반의 SegNet을 사용하여 100개의 주석이 달린 이미지를 통해 수행되었으며, 후속 증강을 통해 900개의 이미지로 확장하였다. 이는 세분화 데이터를 네 번째 채널로 추가하여 원본 이미지와 결합하여 분류에 사용하였다. Grad-CAM을 사용하여 CNN의 주요 집중 영역을 시각화 및 해석함으로써, 모델이 HSIL 검출에 임상적으로 중요한 아세트 화이트 상피와 같은 영역에 집중하는지를 평가하였다. 모델 성능은 정확도, 민감도, 특이도를 기준으로 전문가의 진단을 참조하여 평가하였다. 백색 상피에 대한 세분화 정보가 없는 상태에서 ResNet-18, ResNet-50, ResNet-101은 각각 70.2%, 66.2%, 69.3%의 분류 정확도를 기록하였으며, 이는 동일한 테스트 세트에서 전문가가 기록한 74.6% 및 73.0%보다 약간 낮은 수치였다. 아세트 화이트 병변 세분화 데이터를 추가한 후, 모든 ResNet 모델의 분류 정확도가 일관되게 향상되었다. ResNet-50은 10.1% 증가한 76.3%의 정확도로 가장 큰 개선을 보였으며, ResNet-18과 ResNet-101도 각각 74.8%로 전문가 수준에 근접한 결과를 보였다. HSIL 검출에 대한 민감도 또한 모델 전체에서 개선되었으며, ResNet-50은 69.8%, ResNet-101은 72.8%의 민감도를 기록하였다. Grad-CAM 시각화 결과 세분화 추가 후 모델은 아세트 화이트 상피 영역에 집중하는 경향을 보였다. 결론적으로 본 연구는 백색 상피 병변 세분화를 추가하여 HSIL 검출 정확도를 개선한 CNN 기반 모델을 제시한다. 이 세분화 기반 접근법은 자궁경부 확대경 검사에서 AI 분류의 정확성과 설명 가능성을 높이며, 특히 전문가가 부족한 환경에서 실제 적용 가능성을 보여준다.