Statistical methods for blind restoration of images acquired under nonuniform illumination and blurred by spatially variant point spread function

Abstract

불균일 조명, 블러 (blur), 잡음과 같이 다양한 열화 요인으로 훼손되어 있는 획득 영상 g(x,y)로부터 원 영상 f(x,y)를 추정해내기 위해서는 획득 영상에 가해진 열화 요인들, 즉 불균일 조명, 블러, 잡음 성분을 정확히 분석하고 이를 추정하는 작업이 선행되어야 한다. 그러나 이들 열화 요인들을 동시에 모두 정확히 추정하기란 다루기 쉽지 않은 복잡한 문제이다. 따라서 본 논문에서는 우선 블러 커널이 h(x,y)=δ(x,y)인 경우에 불균일 조명 성분인 s(x,y)를 추정하는 방법에 대해 연구하였다. 그리고 이와는 반대로 불균일 조명 성분이 s(x,y)=c인 균일한 조명이 가해진 경우에 있어서, 공간 변이적인 블러 커널 h(x,y)를 추정하는 문제, 즉 공간 변이적 블라인드 디컨볼루션 (space-variant blind deconvolution) 방법에 대해 연구하였다. 획득 영상 내에 불균일 조명 성분을 보정하기 위한 연구로 영상의 밝기값이 두 가지로 제한된다는 사전 정보를 활용할 수 있는 일반적인 이진 영상에 대해 불균일 조명을 보정할 수 있는 방법을 연구하였다. 벌칙화된 비선형 제곱법 (penalized nonlinear squares) 기반의 목적함수를 제안하여, 영상의 이진성 (binariness) 과 불균일 조명의 공간적 거칠기 (roughness) 를 고려한 불균일 조명 보정이 이뤄질 수 있도록 하였다. 기존 불균일 보정 방법에 비하여 더 나은 정확성을 보이며, 수렴 속도 면에서도 향상된 성능을 보임을 확인하였다. 불균일 조명 성분이 존재하는 획득 영상의 데이터 량이 매우 방대할 경우, 예를 들어 위상차 현미경 등으로 획득한 세포 영상의 3차원 스택 등과 같이 불균일 조명을 보정해야 할 데이터 량이 많은 경우, 앞서의 벌칙화된 비선형 제곱법에 기반한 방법은 기존의 엔트로피 기반의 보정 방법에 비해서는 나은 성능과 속도개선을 보이고 있으나 파라미터 값 설정이 까다롭고 여전히 연산시간이 많이 요구되는 등의 난점이 존재한다. 또한 영상의 밝기값이 두 가지로 제한된다는 사전 정보를 활용할 수 없어 적용이 어렵다. 따라서 불균일 조명 보정을 보다 고속으로 수행하면서도 일반적인 불균일 조명 영상에 대해서도 만족할만한 보정 결과를 보이도록 하는 방법론으로 히스토그램 (histogram) 기반의 영상 대비 향상의 관점에서 불균일 조명 보정 방법에 대해 연구하였다. 불균일 조명 성분이 s(x,y)=c인 균일한 조명이 가해진 경우에 있어서, 공간 변이적인 블러 h(x,y)가 발생한 단일 영상을 복원하는 문제, 즉 단일 영상을 기반으로 한 공간 변이적 블라인드 디컨볼루션 (space-variant blind deconvolution) 방법에 대해 연구하였다. 공간 변이적 디컨볼루션 문제를 풀기 위해 영상 전체 영역을 겹침 (overlapping) 이 존재하는 영역 패치 (patch) 별로 나누고, 원 영상과 블러 커널들을 추정하면서도 각 개별 영상 패치 별로 찾은 블러 커널들이 상호 영향을 주어 최적의 블러 커널들로 바뀔 수 있도록 허용하는 공간 변이적 블라인드 디블러링 프레임워크 (blind deblurring framework) 를 제시하였다. 기존 방법과의 비교평가를 통해 제안하는 방법의 성능을 확인하였고, 제안하는 방법이 boundary artifact를 줄이면서도 공간 변이적 블러를 제거하는 데 효과적임을 확인하였다.;Acquired images are often degraded by the multiple factors, such as nonuniform illumination, blur, and noise, etc. In order to estimate the true latent image from the degraded image, one needs to analyze and estimate nonuniform illumination, blur, and noise accurately. However, it is not an easy task to simultaneously estimate the degrading factors since it is an ill-posed problem where the degrading factors are correlated each other. Thus, in this investigation we firstly focus on the development of the nonuniform illumination correction method when blur kernel is a delta kernel. Also, in the case of the uniform illumination, the space-variant blind deconvolution is studied. To compensate the nonuniform illumination presented in the acquired image, a method for correcting the effect of nonuniform illumination in bi-level image is proposed. Since bi-level images consist of only two intensity values, we are able to incorporate a priori information about the true image. The proposed method is based on a penalized nonlinear least squares objective function that measures the binariness of an image and the roughness of illumination. In simulations and experiments, the method showed better accuracy and speed than the conventional entropy-based method. When the amount of observations which have nonuniform illumination is huge, for example in the case of microscopic images acquired by phase-contrast microscope for live cell analysis, long computational time can be bottleneck for real-time nonuniform illumination correction application. Although the above penalized nonlinear square method performs better than the conventional entropy-based method in terms of accuracy and speed, it is limited only for bi-level images and is still difficult to select optimal parameter values. Therefore, to make fast correction of nonuniform illumination possible, the nonuniform illumination correction method based on contrast enhancement of histogram is proposed. Lastly, in the case of the uniform illumination is applied in the acquired image, the restoration problem of spatially varying blurred single image is studied. In other words, the method for single image based space-variant blind deconvolution problem is proposed. In the proposed method, the entire image is divided into several overlapped sub-regions. While blur kernels and the latent true image are estimated in each sub-regions, the proposed method allows the blur kernels to change considering the similarity of adjacent blur kernels under the Generalized Expectation framework. In simulations and experiments, spatially varying blurred images are restored by using the proposed method. The proposed method does not require segmenting the image regions where point spread functions are assumed to be identical and does not generate boundary artifacts which were the drawback of the previous methods.