Color Filter Array 취득 영상의 디모자이킹 성능 향상

Abstract

카메라 등의 전자제품에는 영상이 널리 사용되고 생활 전반에서 영상의 중요성도 커지고 있다. 또한 전자제품의 디스플레이의 크기가 제한되어 있음에도 불구하고 고해상도 영상에 대한 요구가 증가하고 있다. 따라서 영상의 해상도를 증가시키는 분야가 크게 주목 받고 있다. 소비자용 디지털 카메라는 비용과 크기 문제로 컬러영상을 취득하기 위해 각 화소에서 Red, Green, Blue의 색상을 동시에 얻지 못하고 화소당 하나의 색상만을 통과시키는 컬러 필터 배열 (color filter array)를 사용한다. 가장 대중적인 컬러 필터 배열은 Bayer 패턴으로, RGB를 primary 컬러로 선택한다. Bayer 패턴을 통해 얻어진 영상은 단일 센서를 사용하므로 한 화소에서 RGB 중 하나의 색상 정보만 획득하고 다른 두 색상 정보는 사라진다. 그러므로 다른 두 색상 정보를 복원하기 위해 디모자이킹이라는 과정이 필요하다. 본 연구에서는 영상 도메인에서 보간법을 사용하는 기존의 Primary-Consistent Soft-Decision (PCSD) 방법을 소개하고, 이에 방향을 세분화하는 방법을 제안하였다. 그리고 디모자이크 방식의 성능을 개선하기 위한 다양한 실험 방법 및 결과를 소개한다. 최소자승법을 기반으로 training 영상들로부터 주변 픽셀 값들을 사용하여 색상 복원에 필요한 추정식의 계수를 결정하는 실험을 하였다. 또한 고해상도 영상의 패치와 저해상도 영상의 패치가 각각 해당하는 dictionary에서 동일한 sparse representation 벡터를 갖는다는 것을 사용하여 각 저해상도 패치에 대응하는 고해상도 패치를 추정하여 디모자이킹 실험을 수행하였다. 제안한 다양한 방법으로 구한 디모자이킹 영상의 성능을 평가하고 그 중에서 방향 세분화 방법이 간단하면서도 성능이 우수한 것을 확인하였다.;Images are widely used in electronic devices such as cameras or smart phones, and the importance of images is becoming more and more important in our daily lives. In quest of low cost and compact size, most of consumer digital cameras use color filter array that transmits only one color per pixel to acquire a color image. Bayer pattern, the most popular color filter array, uses RGB as the primary color. The image acquired through Bayer pattern obtains single color information per pixel among RGB channels, and two other color information is lost. Thus, demosaicing process is imperative to restore the two disappeared color information. This study introduces existing Primary-Consistent Soft Decision (PCSD) method which uses color interpolation in the image domain, and then propose to subdivide interpolation directions. Moreover, it introduces several ideas to improve the efficiency of demosiaicing algorithm. Based on least square method, it calculates intensity interpolation coefficients for minimum mean square error from training images. Using the sparse representation concept that high resolution patch and low resolution patch have the same sparse representation vector in respective dictionary, this study conducted experiments that estimate the high resolution patch from patches from CFA images. This study compares the efficiency of several proposed demosaicing algorithms, and then confirms that direction subdivision method is the most simple and effective demosaicing algorithm among them.