iConFormer

Abstract

Transfer learning based on full fine-tuning (FFT) of the pre-trained encoder and task-specific decoder becomes increasingly complex as deep models grow exponentially. Parameter efficient fine-tuning (PEFT) approaches using adapters consisting of small learnable layers have emerged as an alternative to FFT, achieving comparable performance while maintaining high training efficiency. However, the inflexibility of the adapter with respect to input instances limits its capability of learning task-specific information in diverse downstream tasks. In this paper, we propose a novel PEFT approach, input-Conditioned transFormer, termed iConFormer, that leverages a dynamic adapter conditioned on the input instances. To secure flexible learning ability on input instances in various downstream tasks, we introduce an input-Conditioned Network (iCoN) in the dynamic adapter that enables instance-level feature transformation. To be specific, iCoN generates channel-wise convolutional kernels for each feature and transform it using adaptive convolution process to effectively capture task-specific and fine-grained details tailor to downstream tasks. Experimental results demonstrate that by tuning just 1.6% to 2.8% of the Transformer backbone parameters, iConFormer achieves performance comparable to FFT in monocular depth estimation and semantic segmentation, while outperforming it in image classification and instance segmentation. Also, the proposed method consistently outperforms recent PEFT methods for all the tasks mentioned above. ;사전 학습된 인코더와 작업 특화 디코더를 기반으로 한 완전 미세 조정(Full Fine-Tuning, FFT)은 모델이 점점 더 복잡해짐에 따라 점차 복잡도가 증가한다. 이에 대한 대안으로 소수의 학습 가능한 계층으로 구성된 어댑터를 사용하는 파라미터 효율적 미세 조정(PEFT) 방법이 등장하여, 높은 학습 효율성을 유지하면서도 FFT 와 유사한 성능을 달성하고 있다. 그러나 어댑터가 입력 인스턴스에 대한 유연성이 부족하여 다양한 다운스트림 작업에서 작업 특화 정보를 학습하는 데 한계가 있다. 본 논문에서는 입력 인스턴스에 조건화된 동적 어댑터를 활용한 새로운 PEFT 방법인 입력 조건화 트랜스포머(iConFormer)를 제안한다. 다양한 다운스트림 작업에서 입력 인스턴스에 대한 유연한 학습 능력을 확보하기 위해, 동적 어댑터에 입력 조건화 네트워크(iCoN)를 도입하여 인스턴스 수준의 특징 변환을 가능하게 하였다. 구체적으로, iCoN은 각 특징에 대해 채널별 합성곱 커널을 생성하고, 적응형 합성곱 과정을 통해 작업 별 특징 및 세밀한 정보를 효과적으로 포착한다. 실험 결과, 트랜스포머 백본 파라미터의 1.6%에서 2.8%만을 조정하여, iConFormer는 단안 깊이 추정과 의미론적 분할에서 FFT와 유사한 성능을 달성하고, 이미지 분류 및 인스턴스분할에서 더 나은 성능을 보였다. 또한 제안된 방법은 앞서 언급한 모든 작업에서 최신 PEFT 방법을 일관되게 능가하는 성능을 보여주었다.