Global Structural Similarity Knowledge Distillation

Abstract

Knowledge distillation (KD) has become an appealing solution for effectively compressing deep neural networks for semantic segmentation tasks. While fine-grained structural similarity serves as a cornerstone of various KD approaches providing superior performance in the semantic segmentation tasks, they still disregard the semantic contextual information at a more abstract level. In this paper, we propose a novel method to transfer global structural knowledge, with the goal of complementing the existing fine-grained structural knowledge, by effectively extracting more abstract attributes in the feature maps of the teacher and student models. Our method first collects samples from the teacher (or student) feature map, and a pair-wise similarity map is generated using the set of samples. The pair-wise similarity map is then shuffled row-wise and grouped by columns to generate a set of sub-image descriptors. We regard the sub-image descriptor as the semi-global structural knowledge to be transferred to the student model, and the global structural knowledge is transferred by repeating this process for all sub-image descriptors. Experimental results demonstrate that the proposed global structural similarity significantly improves performance, when used together in several state-of-the-art KD methods. ;의미론적 분할을 위한 지식 증류는 효율적으로 깊은 신경망 모델을 압축할 수 있기 때문에 최근 지속적으로 각광받고 있다. 다양한 지식 증류 방법론에서 세밀한 구조적 유사도는 핵심으로 간주되고 주목할 만한 성능 향상을 보였으나, 이 방법은 여전히 영상 내 의미론적 맥락을 추상적인 단계에서 다루지 못하고 있다. 본 논문은 추상적인 전역 구조적 유사도를 선생 모델과 학생 모델에서 효율적으로 추출하고 전달함으로써 현존하는 세밀한 구조적 유사도를 보완할 수 있는 독창적인 방법론을 제시하고자 한다. 본 논문의 방법론을 간략히 설명하면 다음과 같다. 첫 번째로, 선생 모델 (혹은 학생 모델)의 특징 지도에서 표본을 추출하여 상관 유사도 지도를 생성한다. 그 후 상관 유사도 지도의 각 값은 행 별로 임의 배치된 후 일정 개수의 열마다 나누어진다. 이 때 일정 개수의 열로 나누어진 특징 지도의 값을 각각 준 영상 기술자로 정의한다. 본 논문은 준 영상 기술자를 준 전역 구조적 지식으로 간주하여 선생 모델에게서 학생 모델로 전달한다. 각 준 영상 기술자에 대해 이 과정을 반복함으로써 영상 내 전체 전역 구조적 지식이 전달된다. 본 논문은 여러 개의 최첨단 지식 증류 구조에 제시한 방법론을 적용함으로써 이의 놀라운 성능 향상을 입증한다.