이미지 분류를 위한 구면 지오데식 대조 중심 손실함수

Abstract

본 연구의 목적은 이미지 분류 성능 향상을 위한 새로운 보조 손실함수 및 네트워크 구조를 개발함에 있다. 딥러닝 기반 컴퓨터 비전 분야에서 다양한 합성곱 신경망(CNN) 모델은 놀라운 성과를 거두었다. 현재, 이미지 분류를 위한 합성곱 신경망 모델을 학습시키기 위해 가장 보편적으로 사용되는 손실함수는 소프트맥스(softmax) 함수를 이용한 교차 엔트로피 손실함수이다. 소프트맥스 함수는 다중 클래스 분류 문제에 주로 이용되며, 입력 값이 각 클래스에 속할 확률을 예측한다. 그러나 소프트맥스 함수는 주로 확률을 계산하고, 특성(feature)을 분리하는 데에만 중점을 두기 때문에, 차별적 특성(discriminative feature)을 학습하는 데에는 분명한 한계를 갖는다. 차별적 특성은 클래스 내 조밀성(intra-class compactness)과 클래스 간 분리도(inter-class separability)가 모두 높은 특성을 의미하며, 이를 학습하는 것은 모델의 표현력 및 일반화(generalization) 성능 향상에 있어 중요한 역할을 한다. 이러한 소프트맥스 함수의 한계점을 극복하기 위해 여러 손실함수가 제안되었는데, 대표적인 것 중 하나가 바로 중심 손실함수(Center Loss)이다. 중심 손실함수는 특성과 해당 클래스 중심 간의 유클리드 거리(Euclidean distance)를 최소화함으로써, 모델이 더 차별적인 특성을 생성할 수 있도록 돕는다. 하지만 중심 손실함수는 클래스 내의 조밀성에 집중하며, 소프트맥스 함수를 이용해 학습한 특성이 갖는 고유한 각도 분포를 고려하지 않는다. 이러한 중심 손실함수의 문제점을 해결하기 위해, 본 논문에서는 새로운 손실함수인 구면 지오데식 대조 중심 손실함수(Geodesic Contrastive Center Loss, GCC-Loss)를 제안한다. GCC-Loss는 기존의 중심 손실함수를 바탕으로 하지만, 클래스 간 분리를 위한 음성 항(negative term)을 포함하고, 유클리드 거리 대신 구면 지오데식 거리를 사용한다는 차이점이 있다. 구면 지오데식 거리 측정 방식의 사용은 학습된 특성의 고유한 각도 분포를 더욱 적절히 반영함으로써 모델이 차별적인 특성을 생성할 수 있도록 돕는다. 새로운 손실함수를 디자인하는 것뿐만 아니라, 기본 합성곱 신경망 모델 구조에 주의 메커니즘을 활용한 주의 가중치 헤드(Attention Weight Head)를 추가해 학습의 효율을 높였다. 주의 가중치 헤드는 학습 과정에 있어 더 중요한 특성을 강조해줌으로써, 모델이 그들을 우선적으로 처리할 수 있도록 해주는 역할을 한다. 결론적으로, GCC-Loss와 주의 가중치 헤드는 기존의 중심 손실함수보다 높은 이미지 분류 성능 향상 효과를 갖는다. 제안한 접근 방식의 효과는 다양한 실험을 통해 입증되었다. 본 연구에서는 기존의 다양한 손실함수와 정량적 비교를 진행할 뿐만 아니라, 클래스 활성화 맵(Class Activation Map)을 통해 유클리드 거리를 사용하는 기존 중심 손실함수와의 정성적 비교 역시 진행했다. 본 연구의 접근 방식은 모든 실험에서 일관적으로 소프트맥스 함수만을 사용한 기준 모델(baseline model)을 뛰어넘는 우수한 성능을 나타냈다. 뿐만 아니라, 두 개의 특성 추출기(feature extractor) 구조를 이용한 실험을 진행함으로써 GCC-Loss 및 주의 가중치 헤드가 모델의 구조에 관계없이 적용이 용이하다는 것을 보였다. 이외에도, 제거 연구를 통해 GCC-Loss, 주의 가중치 헤드가 각각 이미지 분류 성능 향상에 유의미한 영향을 미치는 것을 확인했다. 이러한 결과는 GCC-Loss 및 주의 가중치 헤드가 딥러닝 기반 이미지 분류 문제에 있어 새로운 방향을 제시할 수 있는 잠재력을 보유함을 보여준다.;Image classification is an advanced field in computer vision, driven by the evolution of Convolutional Neural Networks (CNNs). Despite their success, CNNs commonly rely on the softmax function for training. However, the softmax function has a limitation as it can only produce separable features, not discriminative ones. To overcome this limitation, various auxiliary loss functions have been proposed. Center Loss is a notable example, aiming to minimize the Euclidean distance between features and their corresponding class centers in feature space. Despite its success, Center Loss tends to focus predominantly on intra-class compactness, neglecting the intrinsic angular distribution of features. Addressing these limitations, we propose a novel loss function for general image classification, Geodesic Contrastive Center Loss (GCC-Loss). GCC-Loss is based on Center Loss and designed to generate more discriminative features. GCC-Loss includes additional negative term and utilizes the geodesic distance metric, enhancing inter-class separability and considering the angular distribution of features. Moreover, we integrate an attention weight head into the baseline CNN architecture. This mechanism produces attention weights for feature representations, enabling the network to emphasize more critical features during the training process. The effectiveness of our contributions is demonstrated through various experiments on benchmark datasets, including CIFAR-10, CIFAR-100, MNIST and SVHN. Consistently, our results demonstrate great classification performance, outperforming the baseline models across all experiments. These findings underscore the potential of GCC-Loss and attention weight head to establish a new standard in image classification tasks.