UniTT-Stereo

Abstract

Unlike other vision tasks where Transformer-based approaches are becoming increasingly common, stereo depth estimation is still dominated by convolution-based models. This is mainly due to the limited availability of real-world ground truth for stereo matching, which hinders the performance improvement of transformer-based stereo approaches. In this paper, we propose UniTT-Stereo, a method to maximize the potential of Transformer-based stereo architectures by unifying self-supervised learning for pre-training with stereo matching framework based on supervised learning. Specifically, we design a dual-task learning scheme that reconstructs masked regions of an input image while simultaneously predicting corresponding points in the paired image. We demonstrate that this approach encourages the model to learn locality-aware representations, which are critical to overcoming the data inefficiency of Transformers. Moreover, to address these challenging tasks of reconstruction and-prediction, we propose a variable masking ratio strategy that promotes robustness to varying levels of visual information, and we incorporate losses that leverage stereo geometry and correspondence at the appearance, feature, and disparity levels. We further analyze the effectiveness of our design through frequency decomposition and attention visualization, which reveal how the model captures fine-grained structures and cross-view correspondences. State-of-the-art performance of UniTT-Stereo is validated on various benchmarks such as the ETH3D, KITTI 2012, and KITTI 2015 datasets.

;최근 다양한 컴퓨터 비전 과제에서는 트랜스포머 기반 접근 방식이 점점 보편화되고 있으나, 스테레오 거리추정(stereodepthestimation) 분야에서는 여전히 합성곱 신경망(CNN) 기반 모델이 주류를 이루고 있다. 이는 스테레오 매칭을 위한 실제 정답 데이터가 제한적으로 제공되어, 트랜스포머 기반 모델의 성능 향상에 제약이 따르기 때문이다. 본 논문에서는 트랜스포머 기반 스테레오 구조의 잠재력을 극대화하기 위해, 자기 지도 학습과 지도 학습을 통합한 새로운 스테레오 매칭 프레임워크인 UniTT-Stereo를 제안한다. 제안하는 방법은 입력 이미지의 마스킹된 영역을 복원함과 동시에, 짝지어진 이미지에서 대응되는 점을 예측하는 이중 과제 학습(dual-task learning) 구조를 설계하여, 트랜스포머가 효과적으로 지역 기반 표현을 학습할 수 있도록 유도한다. 또한 복원과 예측이라는 복합적인 과제를 효과적으로 해결하기 위해, 다양한 시각 정보 수준에 견고하게 대응할 수 있는 가변 마스킹 비율 전략을 도입하고, 외관(appearance), 특징(feature), 시차(disparity) 수준에서의 스테레오 기하학적 관계 및 대응 정보를 반영하는 손실 함수들을 함께 적용한다. 더 나아가 주파수 분해(frequency decomposition)와 어텐션 시각화(attention visualization)를 통해, 제안한 모델이 정교한 구조와 양 시점 간의 대응 관계를 어떻게 효과적으로 포착하는지 분석한다. UniTT-Stereo는 ETH3D, KITTI 2012, KITTI 2015 등 다양한 스테레오 벤치마크에 서 최고 수준의 성능을 달성하며 그 효과를 입증한다.