Label-Distilled Stereo Matching

Abstract

Stereo matching, aiming to predict depth estimates from two (or more) views, plays a crucial role in numerous vision and robotics applications, but its accuracy is limited in textureless and occluded areas. To address this issue, label-guided stereo matching has been proposed. This approach leverages the depth values provided by active sensors during the stereo matching process. However, the requirement for an active sensor during inference poses a significant challenge due to its high cost. In this study, we propose a novel label-distilled stereo matching framework that addresses the aforementioned limitations by transferring informative knowledge from a label-guided teacher model to a stereo matching student model. Our method leverages the strengths of the label-guided approach while avoiding the need for an active sensor during inference. We construct a strong teacher model using label fusion techniques and address the issue of overfitting to data domains by introducing an exclusive labeling strategy during training. Our label distillation stereo method (LDS) has achieved notable performance improvement across various datasets.;두 개(혹은 그 이상)의 시각으로부터 깊이를 추정하는 것을 목표로 하는 스테레오 매칭은 수많은 비전 및 로봇 애플리케이션에서 중요한 역할을 하지만, 질감이 없거나 가려진 영역에서는 정확도가 제한된다. 이 문제를 해결하기 위해 능동 센서의 깊이 값을 활용하는 라벨 지도 스테레오 매칭이 제안되었다. 하지만 이 방법은 추론 과정에서 능동 센서가 필요하기 때문에 비용이 많이 든다는 중요한 문제가 있다. 본 연구에서는 라벨 지도 교사 모델에서 스테레오 매칭 학생 모델로 유용한 지식을 전달하여 앞서 언급한 한계를 해결하는 새로운 라벨 증류 스테레오 매칭 프레임워크를 제안한다. 해당 방법은 라벨 지도 접근법의 강점을 활용하여 성능을 높이면서도 추론 중에 능동 센서를 필요로 하지 않는다. 깊이 정답 라벨을 입력으로 같이 사용하여 강력한 교사 모델을 구축하고, 학습 중에 배타적인 라벨링 전략을 도입하여 데이터 영역에 대한 과적합 문제를 해결한다. 제안한 라벨 증류 스테레오 방법은 다양한 데이터 세트에 대해 눈에 띄는 성능 향상을 달성했다.