Global Illuminant Estimation Using Local Patch Selection with Multispectral Imaging

Abstract

This study presents a novel framework for illuminant estimation that addresses the limitations of existing methods by leveraging multispectral imaging and a patch selection-based approach. Traditional illuminant estimation methods, predominantly reliant on RGB data, inadequately represent the spectrum characteristics of light and encounter difficulties in intricate lighting scenarios, including non-uniform illumination or the presence of various light sources. Furthermore, global methods, which consider the entire image, often lose local details critical for accurate estimation, while local methods, which analyze patches independently, are sensitive to noise, fail to incorporate global context, and often treat all patches as equally informative, leading to reduced accuracy in real-world scenarios. To overcome these challenges, the proposed framework integrates a pre-trained illuminant estimation model with a patch selection network. The framework divides the input image into patches and assigns importance scores to each patch based on metrics such as Angular Error (AE), ensuring that only the most reliable patches contribute to global illuminant estimation. The pre-trained model processes 15-dimensional multispectral inputs and outputs 36- dimensional illuminant spectrum vectors, providing a detailed representation of the scene’s lighting. Experimental results indicate that the suggested framework surpasses conventional global illuminant estimate techniques regarding Angular Error, highlighting its robustness in complex lighting environments. The utilization of multispectral data and a patch-based approach has proven to be key in achieving superior performance and adaptability across diverse scenarios. This study advances the domain of illuminant estimation by providing a scalable and efficient approach, with potential applications in automated white balancing, color correction, and other computer vision tasks requiring precise illumination information.;기존의 조명 추정 방법은 주로 RGB 이미지 기반의 전역적 또는 지역적 방식을 사용해 왔다. 그러나 RGB 이미지 데이터는 조명의 스펙트럼 정보를 충분히 표현 하지 못해, 다중 광원이나 비균일 조명과 같은 복잡한 환경에서 정확도에 한계를 보인다. 또한, 기존의 전역적 조명 추정 방법은 이미지 전체를 무조건적으로 고려 하거나, 지역적 방법은 패치 간의 중요도를 구별하지 못하여 복잡한 실제 환경에 서 신뢰할 수 있는 조명 추정을 이루기 어려웠다. 본 연구에서는 이러한 문제를 해결하기 위해 다중분광 이미지 데이터를 활용하고, 이미지 내 각 지역의 중요도 에 따라 점수를 부여하여 전체적인 조명을 추정하는 새로운 프레임워크를 제안한 다. 제안된 프레임워크는 사전 학습된 조명 추정 모델과 패치 선택 네트워크를 효 과적으로 결합하여, 입력 이미지를 세부 패치로 나누고, 각 패치에 대한 신뢰도를 평가하여 가장 신뢰할 수 있는 패치를 선택한다. 패치 평가 과정에서는 각오차 (Angular Error)와 중요도 점수 (Importance Score)를 활용하여 선택된 패치가 조명 추정에 기여할 수 있도록 설계하였다. 실험 결과는 제안된 프레임워크가 전역 조 명 추정에 있어 기존 전역 조명 추정 방식보다 뛰어난 성능을 보임을 입증하였다.