An automatic dynamic range enhancing method for multiple images considering hardware efficiency

Abstract

고성능의 방송통신 장비의 수요가 증대됨에 따라 디지털 영상장치로 획득한 정지 영상이나 동영상으로부터 가시세계를 실감 있게 표현하고자 하는 흐름이 이어지고 있다. 그러나 영상 장치의 동적 범위의 한계와 영상 획득과정의 조도 환경 및 노출 시간에 의해 영상의 밝기가 특정 범위에 집중되는 경우 고감도 영상 표현이 힘들어질 뿐만 아니라 영상에 포함된 정보를 이용하는 후처리 과정 (post processing)이 어려워진다. 따라서 집중되어 있는 밝기의 범위를 확장시켜 인간의 시각 인지 시스템과 최대한 가깝게 만드는 기술이 필요하며 이를 HDR (High Dynamic Range) 기술이라 한다. HDR 영상에 대한 기존 연구 기법은 크게 노출시간을 다르게 하여 획득된 영상을 정합하는 방법, 한 장의 영상으로 프로세싱 하는 기법 등이 있다. 그 중, retinex 이론을 기반으로 한 알고리즘, 밝기 변환 함수를 전역적 혹은 지역적으로 생성하여 매핑하는 기법 등이 있다. 하지만 기존의 선행 연구는 영상의 부분적인 포화 현상 (saturation)을 일으키거나 영상의 디테일한 부분을 잘 개선하지 못하는 단점을 가진다. 또한 HDR 영상을 얻기 위하여 기존에 제안된 알고리즘에는 다양한 튜닝 파라미터가 존재하고 이 튜닝 파라미터에 따라 결과 성능이 좌우되지만 자동적으로 최적의 파라미터를 결정하는 연구는 아직 수행되지 않았다. 따라서 본 논문에서는 다양한 HDR 동향 중, 히스토그램 변형 기법을 기반으로 하여 지역적인 밝기를 개선하는 방법을 이용하여 동적 범위를 확장하는 방법을 제안한다. 제안하는 방법은 영상을 지역 블록으로 나눈 후, 히스토그램 변형기법을 기반으로 하여 영상의 바래 보이는 현상 (gray-out)과 부분적 포화 현상을 막을 수 있도록 인트라 블록 (intra block)의 히스토그램을 변형한다. 그 후, 블록간의 경계 현상을 막기 위하여 인터 블록 (inter block) 간의 히스토그램을 penalize 하여 만든 밝기 변환 함수로 영상의 동적 범위를 증가시킨다. 또한 히스토그램 변형 과정에서 필요한 파라미터를 사용자의 수동적인 조절 없이 블록 내의 평균, 분산, 엔트로피를 이용하여 자동적으로 조절하는 방법과 컬러 영상에 대하여 색상 (hue)을 보존하는 컬러 프로세싱을 제안한다. 마지막으로 제안 알고리즘을 토대로 하드웨어 구현 시 line 메모리를 감소하는 방안과 3D HDR 영상을 얻기 위한 후처리 과정을 소개한다. 실험의 주관적 평가와 객관적 평가를 통해 제안하는 방법의 기존의 선행 연구에 비해 영상의 부분적 포화 현상을 막고 영상의 디테일한 부분을 보다 잘 개선할 뿐만 아니라 사용자의 파라미터 튜닝 없이 알고리즘의 파라미터를 자동적으로 조절 할 수 있고 컬러 프로세싱에서의 색상의 에러를 최소화함을 실험을 통해 비교 분석 한다.;Since images acquired under poor illumination and/or short exposure time usually have low dynamic range, not only it is difficult for the images to express real objects with high fidelity but also the performance of the post processing of the images deteriorates. Thus method to enhance the dynamic range of the images is required. Previous investigations on the high dynamic range (HDR) algorithm include blending method that uses images acquired by multi exposure time, illumination compensation method using retinex theory and tone mapping function method. The previous methods have disadvantages such as generating local saturated region, and poor performance in enhancing local details. In addition, the methods have tuning parameters and the performance of the methods depends on the selection of parameters yet the automatic parameter tuning method has been seldom studied. In this paper, we propose a novel HDR method to enhance local details based on histogram modification framework that divides single image into block and apply histogram modification method for each block to enhance local details. In addition, the proposed method removes block artifact by penalizing the difference between histograms from adjacent blocks. In addition, the method determines tuning parameters automatically using mean, variance and entropy of each intra block. Moreover the proposed method can preserve hue of the acquired image. Finally, we propose an efficient hardware architecture that uses small size memory. In experiments, the proposed method showed better performance in terms of subjective evaluation. In addition, objective evaluations such as entropy, EME (measure of enhancement) and AMBE (Absolute Mean Brightness Error) prove the performance of the proposed method in terms of enhancing local details and preserving hue.