Hybrid-TTA

Abstract

Continual Test Time Adaptation (CTTA) has emerged as a critical approach to bridge the domain gap between controlled training environments and real-world scenarios. Since it is important to balance the trade-off between adaptation and stabilization, many studies have tried to accomplish it by either introducing a regulation to fully trainable models or updat- ing a limited portion of the models. This thesis proposes Hybrid-TTA, a holistic approach that dynamically selects the instance-wise tuning method for optimal adaptation. Our ap- proach introduces Dynamic Domain Shift Detection (DDSD), which identifies domain shifts by leveraging temporal correlations in input sequences, and dynamically switches between Full or Efficient Tuning for effective adaptation toward varying domain shifts. To maintain model stability, Masked Image Modeling Adaptation (MIMA) leverages auxiliary recon- struction task for enhanced generalization and robustness with minimal computational over- head. Hybrid-TTA achieves 0.6%p gain on the Cityscapes-to-ACDC benchmark dataset for semantic segmentation, surpassing previous state-of-the-art methods. It also delivers about 20-fold increase in FPS compared to the recently proposed fastest methods, offering a robust solution for real-world continual adaptation challenges.;연속 테스트타임 적응(Continual Test-Time Adaptation)은 통제된 훈련 환경과 실제 환경 간의 도메인 격차를 해소하기 위한 핵심 접근 방식으로 주목받고 있다. 적응성과 안정성 간의 균형을 유지하는 것이 중요하기 때문에, 기존 연구들은 전면적인 모델 업데이트에 제약을 걸거나 모델의 일부분만 선택적으로 업데이트 하는 방식으로 이를 달성하고자 하였다. 본 논문에서는 최적의 적응을 위해 인스턴스별 튜닝 방식을 동적으로 선택 하는 하이브리드 접근법인 Hybrid-TTA를 제안한다. 우리는 입력 시퀀스 간의 시간적 상관관계를 활용하여 도메인 변화를 감지하는 동적 도메인 변화 탐지 (Dynamic Domain Shift Detection)를 도입하며, 이를 바탕으로 도메인 변화 정도에 따라 전면적 업데이트(Full Tuning)와 파라미터-효율적 업데이트(Efficient Tuning)를 동적으로 전환한다. 또한 모델의 안정성을 유지하기 위해, 마스크 이미지 모델링 적응(Masked Image Modeling Adaptation)을 활용하여 보조적인 이미지 복원 과제를 통해 일반화 성능과 견고함을 향상시키며, 계산 비용은 최소화한다. Hybrid-TTA는 Cityscapes-to-ACDC 등 다양한 세그멘테이션 벤치마크에서 기존 최고 성능을 0.6%p 초과하는 성과를 기록하였고, 최근 제안된 가장 빠른 방법들 보다 약 20배 빠른 FPS를 달성하여, 실제 환경에서의 연속적 적응 문제에 대한 강건한 솔루션을 제시한다.