Skin Lesion Classification System Using Ensemble Model of Deep Learning on Unbalanced Datasets

Abstract

Over the past two decades, techniques for detecting and diagnosing skin cancer caused by abnormal skin cell growth have evolved significantly. In the early 20th century, malignant melanoma was diagnosed by visual inspection and manual screening based on size, color, texture, shape, and bleeding or ulceration. Dermatological or pathological methods further examined lesions suspected of malignancy. A pathologist who knows a lot about anatomy and pathology did a biopsy on the worrisome lesion, which was then surgically removed and looked at under a microscope. Although effective, this method was invasive and time-consuming, often taking 3 to 12 weeks, which posed a serious risk for patients in advanced stages of skin cancer where early diagnosis is crucial [1]. Early detection and treatment of malignant skin lesions like melanoma depend on categorization. Due to dataset asymmetries, malignant lesions like melanoma are underrepresented relative to benign lesions, making automated classification systems difficult to create. This study uses a deep learning-based ensemble model trained on unbalanced datasets to classify skin lesions robustly. The study uses data augmentation and random oversampling on the International Skin Imaging Collaboration (ISIC) and Human Against Machine with 10,000 dermatoscopic images (HAM10000) datasets, which comprise melanoma, basal cell carcinoma (BCC), and squamous cell carcinoma (SCC), to address the class imbalance. This technique makes the minority class more representative and helps the model work better. There are three deep convolutional neural network (CNN) architectures in the system: Visual Geometry Group 16-layer network (VGG16), ResNet-50, and Inception-V3. We selected each model based on its ability to accurately identify images. We fine-tune and train each model on larger datasets, then use a weighted averaging method to combine their predictions. This ensemble method makes things more accurate and durable by using each model's unique ability to record things like texture, form, and color. Image scaling, normalization, and augmentation techniques, including rotation, flipping, and contrast modifications, are all part of the preprocessing procedures. We carry out these activities to ensure the model performs effectively across a broad spectrum of clinical scenarios. We check the model's performance by looking at its accuracy, precision, recall, and F1-score for each type of lesion. The results reveal that the ensemble model always does better than individual CNNs, especially for minority classes like melanoma. Better recollection is especially crucial in healthcare settings because missing malignant tumors might delay treatment. The confusion matrix analysis also shows that there are fewer mistakes in classifying lesions that seem alike, which indicates how accurate the ensemble is. In addition to improving the system's performance, it also enhances comprehension by providing feature importance ratings. This lets practitioners see what the most important factors are in making classification decisions. The model shows that disparities in hue and texture are quite essential, especially for diagnosing melanoma, which often has problems with both of these things. These ideas help dermatologists make better choices. The system's design also takes into account the fact that real-world clinical datasets sometimes have uneven distributions. This makes it more flexible for different skin types and types of lesions. In conclusion, this study shows that a deep ensemble model works well for diagnosing skin lesions in datasets that aren't balanced. By combining CNN architectures with feature extraction capabilities that work well together and using strong data balancing methods, the system gets very high accuracy, recall, and precision. It is a useful tool for automated skin cancer diagnosis since it is easy to understand, clinically relevant, and always works well. This helps dermatologists make quick, accurate, and effective decisions.;지난 20여 년 동안 비정상적인 피부 세포의 증식으로 인해 발생하는 피부암을 진단하고 감지하는 기술은 크게 발전해 왔다. 20세기 초에는 악성 흑색종을 포함한 피부암이 주로 크기, 색상, 질감, 형태, 출혈 또는 궤양 등의 시각적 특징에 기반하여 수동 판별이 되었으며, 악성이 의심되는 병변은 피부과적 또는 병리학적 절차를 통해 추가적으로 검사되었다. 병리학자가 시행하는 생검은 병변을 외과적으로 제거한 후 현미경을 이용하여 조직을 정밀하게 관찰하는 방식으로 이루어진다. 이러한 방식은 진단에 효과적이나, 환자에게 육체적 고통을 유발하며, 약 3주에서 12주까지 소요되는 처리 기간으로 인해 조기 치료가 지연될 수 있다는 한계가 있다. 특히 진행성 피부암 환자에게는 이러한 지연이 치명적일 수 있다 [1]. 피부 병변의 분류는 피부암의 조기 발견과 신속한 치료를 위해 매우 중요하다. 그러나 악성 병변(예: 흑색종)의 데이터 수가 양성 병변에 비해 현저히 적어, 데이터 불균형 문제로 인해 신뢰할 수 있는 자동 분류 시스템을 개발하는 데 어려움이 있다. 본 연구는 이러한 문제를 해결하고자 불균형 데이터셋을 활용하여 학습된 심층 학습 기반 앙상블 모델을 사용하는 피부 병변 분류 시스템을 제안한다. 본 연구에서는 ISIC 및 HAM10000 데이터셋을 사용하여 흑색종, 기저 세포암(BCC), 편평 세포암(SCC)을 포함한 다양한 유형의 피부 병변을 분석하였다. 데이터 불균형 문제를 해결하기 위해 데이터 증강 및 무작위 과샘플링 기법을 적용하여 소수 클래스의 비중을 높이고 모델의 성능을 향상시키고자 하였다. 제안된 시스템은 이미지 분류에 효과적인 것으로 알려진 세 가지 심층 합성곱 신경망(CNN) 구조인 Visual Geometry Group 16-layer network (VGG16), ResNet-50, Inception-V3을 개별적으로 미세 조정한 후, 이들의 예측 결과를 가중 평균 방식으로 결합하여 앙상블 모델을 구성한다. 각 모델은 서로 다른 특징 추출 능력을 지니며, 이를 결합함으로써 질감, 형태, 색상 등의 다양한 피부 병변의 특성을 보다 효과적으로 포착할 수 있고, 그 결과 분류의 정확성과 강건성을 높일 수 있다. 전처리 과정에서는 이미지 크기 조정, 정규화, 회전, 반전, 대비 조절 등의 데이터 증강 기법을 적용하여 다양한 임상 조건에서도 모델이 일반화될 수 있도록 하였다. 모델의 성능은 정확도, 정밀도, 재현율(Recall), F1 점수를 통해 평가하였으며, 그 결과 앙상블 모델이 단일 CNN 모델보다 모든 측면에서 우수한 성능을 보였다. 특히 흑색종과 같은 소수 클래스에서 재현율과 F1 점수가 크게 향상되었으며, 이는 실제 임상 환경에서 중요한 요소로, 악성 병변의 누락 가능성을 줄이는 데 기여하다. 혼동 행렬 분석에서도 유사한 병변 간의 오분류 비율이 낮게 나타나 앙상블 모델의 정밀도를 입증하였다. 또한 제안된 시스템은 특성 중요도 점수를 생성함으로써 모델의 예측 과정에 대한 해석 가능성을 높였다. 모델은 특히 흑색종을 구별할 때 질감과 색상 변화가 핵심적인 분류 기준임을 보여주었으며, 이러한 정보는 임상의가 보다 정밀한 판단을 내리는 데 도움이 된다. 제안된 모델은 실제 임상 데이터셋에서 흔히 발생하는 클래스 불균형을 고려하여 설계되었으며, 다양한 피부 유형과 병변 형태에 유연하게 적용될 수 있도록 구성되었다. 결론적으로, 본 연구는 불균형한 피부 병변 데이터셋을 효과적으로 분류할 수 있는 심층 앙상블 모델의 유용성을 입증하였다. 상호 보완적인 특성 추출 능력을 지닌 CNN 구조의 통합과 강력한 데이터 균형 기술을 통해 높은 정확도, 정밀도, 재현율을 달성하였으며, 해석 가능성과 임상 적용 측면에서도 우수한 성과를 보였다. 제안된 시스템은 자동 피부암 진단의 정확성과 신속성을 향상시키며, 조기 진단 및 효율적인 임상 의사결정을 지원하는 실용적인 도구로 활용할 수 있을 것이다.