Sparse representation을 사용한 Super Resolution 알고리즘의 성능 향상

Abstract

High resolution image contains high frequency detail information and essential in various applications. For example, High resolution medical image can make an accurate diagnosis. High resolution image can distinguish an object from similar background objects in satellite application. Also, it can reduce errors in pattern recognition. Demand for high resolution image is increasing. However, a spatial resolution is limited by an image sensor or an image acquisition system. A Super Resolution algorithm can overcome the physical limitation of the image system. This research proposes a Super Resolution algorithm using sparse signal representation. Assuming a high resolution patch and a low resolution patch have a same sparse representation vector, we can estimate a high resolution patch for each low resolution patch. Therefore low and high resolution dictionaries play an important role. We design dictionaries that represent features of patch. To achieve this goal, we construct patch pairs that well represents feature relation between low and high resolution patches. We obtain patches from high resolution images and then apply blurring, down-sampling, up-sampling, and preprocessing for each patch. And we finally obtain low resolution patches and high resolution patches. The proposed method removes the effect of the neighboring patches. It can build relationship between patch-pairs without spurious effect from the neighboring patches. therefore it can estimate the high resolution image with higher accuracy. The performance of the proposed method is verified by experiment. And the proposed method shows much improvement when the image blur is severe.;고해상도 영상은 고주파 대역의 많은 세부 정보들을 포함하고 있는 영상으로 다양한 분야에서 고해상도 영상이 요구된다. 고해상도 영상을 통해 의료 분야에서는 정확한 진단이 가능하고, 위성 분야에서는 물체를 정확하게 변별할 수 있다. 또한 패턴 인식 분야에서는 인식 성능을 향상시킬 수 있다. 고해상도 영상에 대한 요구들은 증가하는데 반해 영상의 공간 해상도는 영상 센서나 영상 획득 장치에 의해 제한된다. 영상 시스템의 한계를 극복하기 위해 영상을 얻고 후처리 과정을 통해서 영상의 해상도를 향상시키는 Super Resolution 알고리즘에 대한 연구가 등장하였고 현재도 진행 중이다. 본 연구에서는 패치 별로 sparse representation을 사용한 super resolution 알고리즘에서 주변 패치의 영향을 제거해 성능을 개선하는 방법을 제안한다. 고해상도 영상의 패치와 저해상도 영상의 패치가 각각 해당하는 dictionary에 대해서 동일한 sparse representation 벡터를 갖는다는 것을 사용하여 각 저해상도 패치에 대응하는 고해상도 패치를 추정한다. 이 때 고해상도 dictionary와 저해상도 dictionary 쌍이 중요한 역할을 한다. 즉, 패치의 특징을 잘 표현할 수 있는 dictionary를 구해야 한다. 이를 위해서는 저해상도 패치와 고해상도 패치 간의 특징 관계를 잘 표현할 수 있는 패치 쌍을 구성해야 한다. 고해상도 영상에서 패치를 얻고 패치 별로 blur, down-sampling, interpolation, feature를 추출하는 preprocessing을 적용하여 고해상도 패치와 저해상도 패치를 얻는다. 해상도를 향상시키고 있는 패치에 미치는 주변 화소의 영향을 제거함으로써 고, 저해상도 패치 쌍 간의 관계가 명확해지고 이를 통해 dictionary를 구하면 패치의 대응관계를 보다 더 정확하게 표현할 수 있다. 패치 쌍 간의 특징 관계를 잘 표현할 수 있는 dictionary를 구하는 패치 쌍을 구성함으로써 기존 방법보다 개선된 super resolution 결과를 얻는 것을 실험으로 확인하였다. 그리고 제안한 방법은 영상의 blur가 심할 때 기존 방법과 비교하여 더 큰 개선 효과가 있는 것을 실험으로 확인하였다. 본 논문에서 제안하는 패치 쌍을 구성하는 방법은 기존의 super resolution 알고리즘에 적용하여 개선된 super resolution 결과를 얻을 수 있다. 영상의 blur가 심할 때 개선되는 정도가 증가하기 때문에 blur가 심한 영상의 공간 해상도를 증가시킬 때 유용하게 사용할 수 있다.