RelightAug

Abstract

We introduce RelightAug, a physically grounded relighting-based data augmentation framework designed to address the limitations of object detection in low-light environments. Conventional object detection datasets are predominantly composed of well-lit images, while low-light samples remain sparse. Furthermore, annotating images in low-visibility environments is costly due to noise and reduced visual clarity, highlighting the need for augmentation methods that can enrich illumination diversity without additional labeling effort. Existing geometric or mixing-based augmentation techniques cannot model illumination changes, while generative approaches using GANs or diffusion models ofter alter scene structures, resulting in misalignment between generated images and their original bounding-box annotations. To address these issues, RelightAug recovers coarse scene geometry from a single RGB image and synthesizes diverse illumination conditions by placing virtual light sources on the reconstructed scene. In addition, we introduce an object-shape–aware Gaussian formulation that adapts illumination spread based on bounding box geometry. This process preserves object locations and all annotation metadata, enabling direct use of the generated images for training without additional labeling. Experiments on the ExDark benchmark show that RelightAug improves the performance of various detectors-including YOLOv11, YOLOX-demonstrating the effectiveness and practicality of physically based relighting augmentation for low-light object detection.;본 연구는 저조도 환경에서의 객체 탐지 성능 한계를 해결하기 위해, 물리 기반 조명 합성을 활용한 데이터 증강 기법 RelightAug를 제안한다. 일반 객체 탐지 데이터셋은 정상 조도에 편중되어 있으며, 저조도 이미지 데이터는 부족하다. 또한 저조도 환경에서는 노이즈와 낮은 시인성으로 인해 주석 비용이 크게 증가하므로, 기존 데이터만으로 다양한 저조도 조건을 효과적으로 확장하는 증강 방법이 필요하다. 그러나 기존 기하학적 또는 혼합 기반 데이터 증강은 조명 변화를 반영하지 못하고, GAN과 Diffusion 기반의 생성 기법은 이미지 구조가 변형되어 바운딩 박스 정합이 깨지는 문제가 존재한다. 이를 해결하기 위해 RelightAug는 단일 RGB 이미지로부터 장면 기하 구조 및 재질(albedo)을 추정하고, 이에 가상 조명을 배치하여 다양한 조명 조건 이미지를 합성한다. 이를 통해 객체 위치와 주석 정보를 그대로 유지한 상태에서 새로운 학습 샘플을 얻는다. 특히 본 연구는 객체의 바운딩 박스를 기반으로 조명 위치를 Gaussian Mixture Distribution으로 정의하여, 장면 특성에 맞게 객체 주변의 어두운 영역이 우선적으로 조명되도록 하는 scene-adaptive 전략을 도입하였다. ExDark 데이터셋에서의 실험 결과, RelightAug는 YOLOv11, YoloX와 같은 다양한 검출 모델에서 성능 향상을 보여, 저조도 객체 탐지에서 물리 기반 relighting 증강의 효과성 및 실용성을 입증했다.