환경 적응성을 강화한 온디바이스 객체 탐지 모델의 특징 조정 기반 파인튜닝 기법

Abstract

최근 인공지능(AI) 기술이 급격히 발전함에 따라, 온디바이스(On-device) AI 기술이 로봇청소기와 같은 스마트 가전제품에 폭넓게 적용되고 있다. 기기들은 실내 환경을 인식하고 장애물을 회피하는 기능을 수행하기 위해 AI 기술에 크게 의존한다. 사전 학습된 AI 모델이 각 가정의 환경에 그대로 적용될 경우, 각 가정의 구조, 가구 배치, 조명 조건 등 다양한 환경적 요인으로 실제 사용 환경에서 성능 저하 될 수 있다. 로봇청소기는 초기 운행 과정에서 수집한 이미지 데이터를 활용하여 환경 맞춤형 모델 업데이트가 가능하다. 하지만 온디바이스 기기는 메모리와 연산 자원이 제한적이므로, 모든 파라미터를 업데이트하는 전면 파인튜닝 방식은 현실적으로 적용하기 어렵다. 제한된 컴퓨팅 자원으로도 효과적인 학습이 가능한 파라미터 효율적 파인튜닝 기법이 필요하며, 동시에 약 100장의 학습 데이터만으로도 성능개선이 필수다. 이에 따라 로봇청소기의 객체 탐지 성능을 확보하면서, 온디바이스 환경의 제약 조건을 충족하는 실용적인 학습 방법을 제안한다. 본 논문에서는 제한된 데이터 환경에서 기존 기법의 한계를 극복하기 위해, 실시간 객체 탐지 모델에 특징 변조(Feature Modulation) 기반 Low-Rank Adaptation (LoRA) 기법을 제안한다. 제안하는 방법은 사전 학습된 가중치에 선형 변환을 추가하고, 입력 특징을 동적으로 조절할 수 있는 γ(감마)와 β(베타) 파라미터를 도입한다. 이를 통해 적은 데이터로도 높은 성능을 발휘하며, Plug-and-play 방식의 모듈화된 구조로 설계되어 기존 모델의 수정을 최소화하였다. 다양한 실험을 통해 제안된 방법이 전체 파인튜닝 방식 대비 메모리 효율성을 크게 향상시키면서 동등한 수준의 성능을 달성함을 검증하였다. 특히 제한된 데이터 환경에서도 기존 모델 대비 우수한 성능을 보여, 학술적 기여도뿐만 아니라 산업적 활용 가치도 높을 것으로 기대된다.;The purpose of this study is to develop an efficient on-device learning method for robot vacuum cleaners as artificial intelligence (AI) technology is being widely applied to smart home appliances. These devices heavily rely on AI technology to recognize indoor environments and avoid obstacles effectively. When pre-trained AI models are directly applied to different home environments, performance degradation can occur due to various environmental factors such as house layout, furniture arrangement, and lighting conditions. While robot vacuum cleaners can update their models using image data collected during initial operation, on-device systems have limited memory and computational resources, making it impractical to implement full fine-tuning that updates all parameters. A parameter-efficient fine-tuning method that enables effective learning with limited computing resources is necessary, while also requiring performance improvement with only about 100 training images. In this paper, we propose a Feature Modulation-based Low-Rank Adaptation (LoRA) technique for real-time object detection models to overcome the limitations of existing methods in limited data environments. The proposed method adds linear transformations to pre-trained weights and introduces γ(gamma) and β(beta) parameters that can dynamically adjust input features. This achieves high performance with minimal data and features a plug-and-play modular structure that minimizes modifications to the existing model. Through various experiments, we verified that the proposed method significantly improves memory efficiency while achieving comparable performance compared to full fine-tuning. Particularly, it shows superior performance compared to existing models even in limited data environments, suggesting high value for both academic contributions and industrial applications.