의미론적 분할을 위한 신뢰도 기반 비지도 도메인 적응

Abstract

비지도 도메인 적응은 충분한 양의 정답이 있는 소스 도메인을 사용하여 정답이 없는 타겟 도메인에 대한 모델 성능을 높인다. 주로 합성 데이터셋을 소스 도메인으로, 현실 데이터셋을 타겟 도메인으로 활용한다. 비지도 도메인 적응의 대표적인 방법으로 타겟 도메인에 대한 의사 정답(pseudo label)을 활용하는 자기 학습(self-training)이 있다. 의미론적 분할 모델에 대한 비지도 도메인 적응 연구도 꾸준히 진행되었다. 다양한 방법으로 의미론적 분할 모델에 대한 도메인 격차를 해소하였고 모델의 일반화 성능을 향상시켰다. 그러나 기존의 방법들은 의미론적 분할에서 사용하는 클래스 개념을 고려하지 않고 비지도 도메인 적응을 진행했다. 그리고 자기 학습에 사용하는 의사 정답의 신뢰성이 보장되지 않는다는 한계점이 있다. 의사 정답이 정확하지 않으면 의미론적 분할 모델은 자기 학습을 통해 잘못된 정보를 학습한다. 그렇기 때문에 높은 신뢰도의 의사 정답을 생성하는 것은 매우 중요하다. 의사 정답의 신뢰도를 높이기 위해서 본 연구는 딥러닝 모델 학습 기반의 신뢰도 추정 방식을 사용한다. 의사 정답의 신뢰도에 따라 학습 가중치를 설정하는 자기 학습 기법을 제안한다. 본 연구에서 제안하는 신뢰도 추정 방식은 신뢰도 측정 모델과 임계 값 측정 모델을 사용한다. 이를 통해 의사 정답의 모든 픽셀에 대한 신뢰도를 얻을 수 있다. 자기 학습을 할 때 신뢰도가 높은 픽셀은 학습에 많은 기여를 하게 유도하였다. 즉 신뢰도를 자기 학습의 가중치로 사용하여 효과적인 자기 학습을 진행한다. 실험은 도로 환경 데이터셋에 대해서 진행했다. 합성 데이터인 GTA5 데이터셋을 소스 도메인으로 사용했다. 그리고 실제 도로 데이터인 Cityscapes 데이터셋을 타겟 도메인으로 설정했다. 의미론적 분할 모델에 대해서 Cityscapes 데이터셋에 대한 성능을 측정하여 본 연구의 성능을 검증하였다. ;Domain adaptation aims for models trained with source domains to work well in target domains. Unsupervised domain adaptation(UDA) mainly uses source domains with correct answers and target domains without answers. For unsupervised domain adaptation, self-training is a usual method, and many studies using self-training have achieved state-of-the-art performance until now. However, the pseudo labels without any correction are noisy. This paper proposed a new UDA framework based on the self-training method. We use confidence and threshold estimation networks to generate highly reliable pseudo labels. The confidence and threshold estimation networks estimate uncertainty for the semantic segmentation network’s results. Class information is used to predict appropriate uncertainty for each class in this process. The confidence predictions are used as a weight for pseudo labels. In the experiment part, we used the GTA5 dataset as the source domain, synthetic data. We tested the performance of this method on the real-world road dataset, the Cityscapes, as the target domain.