비선형 함수를 적용한 인테리어 스타일 전환 특화 LoRA 구조 AdaLoRAN

Abstract

선형 스케일만으로는 복잡한 데이터 manifold 표현이 불가하다는 문제와, 공간 구조 보존의 한계가 있다. 이러한 문제들을 구조적인 개선으로 해결하기 위하여 인테리어 스타일 전환에 특화된 LoRA 구조를 새롭게 본 연구를 제안한다. 본 연구는 SVD의 특이값이 정보 압축의 핵심과 비선형은 manifold의 표현력을 올린다는 수학적 사실과 적응적 비선형 함수 학습이라는 딥러닝 원리를 결합하여, 특이값 행렬에 학습가능한 비선형성을 부여함으로써, 최소한의 파라미터로 최대한의 표현력을 달성하는 독창적 해법을 제시한다. 기존 LoRA/AdaLoRA가 주로 선형 스케일에 의존하는 반면, 본 연구는 GELU와 경량 MLP를 결합한 게이트를 통해 미세한 질감·패턴·재질 표현까지 더 잘 학습할 수 있음을 실험을 통해 확인하였다. 기존 LoRA/AdaLoRA는 대상 이미지에 대한 인테리어 스타일 학습에 대한 한계가 있었으나 자체 개발한 AdaLoRAN은 효과적으로 학습할 수 있으며, 따라서 사용자가 원하는 특정한 인테리어 스타일들의 이미지가 있으면, 개발한 AdaLoRAN을 통해 해당 스타일로 학습할 수 있으며, 임의의 실내 이미지에 대해 해당 인테리어 스타일로 변환시킬 수 있다.;This study presents a novel solution that combines three key principles: the mathematical insight that singular values in SVD capture the core of information compression, the fact that nonlinearity enhances manifold expressiveness, and the deep-learning principle of adaptive nonlinear function learning. By incorporating learnable nonlinearity directly into the singular value matrix, the proposed approach achieves maximal expressive power with minimal parameter overhead. Whereas existing LoRA and AdaLoRA methods primarily rely on linear scaling, our method introduces a gated mechanism that integrates GELU and a lightweight MLP. Through experiments, we confirm that this enables the model to learn fine-grained textures, patterns, and material characteristics more effectively. While conventional LoRA/AdaLoRA methods show limitations in capturing interior-style characteristics, the proposed AdaLoRAN successfully learns such styles. Consequently, given a set of user-preferred interior style images, AdaLoRAN can be trained on that specific style and applied to transform any indoor scene into the corresponding style.