Huber 함수를 사용한 초고해상도 영상 복원에서 Regularization 변수의 선정 방법

Abstract

감시카메라, 디지털 비디오, 의료 영상 등 이미지 관련 기기의 실용화에 따라 여러 응용 분야에서 저해상도로 촬영한 영상으로부터 영상 센서의 해상도를 능가하는 고해상도 이미지를 구하는 초고해상도 영상 복원 기법이 요구 되고 있다. 초고해상도 영상 복원 기법이란 동일한 화면에 대하여 다른 정보를 가지고 있는 저해상도 영상 여러 장을 이용하여 한 장의 고해상도 영상을 만드는 기법이다. 간단한 예를 들자면 가로, 세로 방향으로 1/2 pixel씩 어긋나 있는 4장의 저해상도 영상이 있다면 이 영상들을 합하여 고해상도 영상을 만들 수 있다. 초고해상도 영상 복원의 연구 분야는 크게 두 가지로 나뉘는데 registration과 restoration이다. Registration은 여러 저해상도 영상들의 기하학적인 정렬 관계를 구하기 위해 필요하고 restoration은 저해상도 영상의 왜곡이나 noise, blur 등의 현상을 보완하기 위해 필요하다. 본 논문은 registration 정보를 알고 있다는 전제 하에서 restoration 에 중점을 두었다. 초고해상도 영상 복원은 ill-posed inverse 문제가 있으므로 regularization을 필요로 한다. 널리 사용되고 있는 quadratic penalty 함수를 이용한 regularization은 영상 윤곽선의 선명도가 악화되는 현상 (blurring)을 야기하고 최적의 영상 복원을 위한 regularization 변수 값을 입력되는 영상마다 찾아야 하는 번거로움이 있다. 본 논문에서는 효과적인 regularization 변수 값 설정을 위해 GCV (Generalized Cross-Validation) 방법을 사용하여 regularization 변수를 설계하였고 GCV 방법의 유효성을 입증하였다. 또한 윤곽선을 잘 보존하는 regularization 방법으로 non-quadratic penalty 함수를 제안하고 non-quadratic penalty 함수의 threshold를 설계하기 위해 영상의 미분 정보를 Laplacian으로 modeling 하여 분석하였으며 이 경우 보다 쉽게 delta를 설계할 수 있는 방법을 제안하였다.;Demand for higher resolution images is increasing due to emerging higher resolution display devices such as high definition TV displays. High resolution images have many applications: high resolution medical images are helpful for accurate medical diagnosis and those from security cameras are useful in identifying suspects in crime scenes. We can reconstruct a higher resolution image when several lower resolution images that have different information about the same scene are available. For example, if four low resolution images with half-pixel shift in vertical and horizontal directions are available, we can generate an image with the twice of the resolution of the input images by combining the four images. This process is called “super-resolution image reconstruction” and has been investigated actively. The super-resolution image reconstruction requires two important technologies: image registration and restoration. The first part, image registration, is required to determine how multiple lower resolution images are geometrically related to the higher resolution image. The other issue, the image restoration, is a task of estimating the higher resolution image from the blurred, aliased and noisy observations, i.e. the lower resolution images. We assume that the geometric transformation between lower resolution images is known, and then we focus on the image restoration part, which is an inverse problem in nature. However, there can be many different higher resolution images that can generate the same lower resolution images. Therefore, we need a method to determine the unique solution. One of the most widely used methods to determine the unique solution of the ill-posed inverse problem is regularization by imposing a penalty function. Design of a penalty function and the weighting are very important technical problems that must be addressed to design an effective super-resolution reconstruction method. We concentrate on the Huber penalty method, because Huber penalty method can preserve image edges better than quadratic penalty method. Since the quality of reconstructed super-resolution image is sensitive to the regularization parameter and Huber threshold, the optimal selection of the regularization parameter and Huber threshold is very important. We investigate GCV (Generalized Cross-Validation) method and validated GCV method to find the weighting parameter. We propose to use ratio of the Huber penalty and the quadratic penalty to choose a suitable Huber threshold value. And then we derive the theoretical prediction of the ratio by employing the Laplacian PDF model for the distribution of the derivative of the image. We show the effectiveness of our model from experiments and describe the limits and future work to enhance the proposed method.