조명 스펙트럼 복원을 위한 다중분광 학습 데이터 생성 및 딥러닝 알고리즘 개발

Abstract

본 논문에서는 AWB(auto white balance)를 위해 카메라 특성을 효과적으로 제거하고 정답조명과 가까운 스펙트럼을 복원하기 위한 딥러닝 네트워크를 제안한다. 일반적인 조명 추정 알고리즘은 RGB 영상에서의 색 추정을 위주로 이루어져 왔다. 하지만 RGB 센서의 대역 간 중첩 문제로 정확한 조명 추정이 어려운 단점이 있었고, RGB 센서 대비 더욱 많은 정보를 얻을 수 있는 다중분광영상(multispectral image)의 정보를 활용하는 연구가 진행되고 있다. 기존의 다중분광영상의 정보를 활용하여 장면조명을 추정하는 연구들은, 영상의 정보를 활용하여 다중분광영상의 채널에 맞는 예측 조명 스펙트럼을 추정한다. 하지만 이러한 방식은 영상을 촬영한 센서의 특성을 포함하고 있고, 다중분광영상의 채널에 맞춰져 있어 정답 조명과는 차이가 있다. 본 논문에서는 다중분광영상에서 추정한 예측 조명 스펙트럼을 정답조명과 가깝게 복원하는 딥러닝 네트워크 구성 방식을 제안하여 이러한 문제를 해결하고자 한다. 첫 번째, 실제 환경에서 자주 등장하는 대표조명을 학습하는 오토 인코더(auto encoder) 형식의 딥러닝 네트워크를 사용한다. 네트워크의 학습 데이터세트는 스펙트럼 데이터의 대표조명을 분석하여 가우시안 노이즈와 함께 합성한다. 두 번째, 새로운 활성화 함수(positive activation function)를 사용한 딥러닝 알고리즘을 제안한다. 인코더(encoder)에서 데이터의 특성을 분석하여 얻은 잠재 벡터(latent vector)의 정보로 디코더(decoder)에서 스펙트럼을 복원할 때, 새로운 활성화 함수를 함께 사용하여 스펙트럼의 특성을 반영한다. 본 논문은 제안한 네트워크를 기존 네트워크와 비교하고, 학습 데이터 합성 방식과 및 활성화 함수에 따른 비교 실험을 분석하여 제안 모델의 성능을 증명한다. ;In this paper, we propose a deep learning network for effectively removing camera-specific characteristics and reconstructing the spectrum close to the ground truth illumination for AWB (auto white balance). Conventional illumination estimation algorithms mainly focus on color estimation in RGB images. However, accurate illumination estimation has been challenging due to the overlapping of bands in RGB sensors, and recent research has been exploring the use of multispectral images, which include more information compared to RGB sensors. Previous research that utilizes multispectral image information for scene illumination estimation typically predicts illumination spectra that match the channels of the multispectral image using the image information. However, this approach includes the characteristics of the sensor used to capture the image and is tailored to the channels of the multispectral image, resulting in differences from the ground truth illumination. In this paper, a deep learning network architecture is proposed to restore the predicted illumination spectrum obtained from the multispectral image closer to the ground truth illumination. First, an auto-encoder network architecture is used to learn representative illuminations frequently encountered in real-world environments. The training dataset for the network is synthesized by analyzing representative illumination spectra from the spectrum data and adding Gaussian noise. Second, a "positive activation function" is proposed for the deep learning algorithm. When restoring the spectrum in the decoder based on the information from the latent vector obtained by analyzing the characteristics of the data in the encoder, the new activation function is used to reflect the characteristics of the spectrum. The proposed network is compared with existing networks, and performance analysis is conducted through comparative experiments on the synthesis method of training data and the activation function.