Depth based interpolation of light field data for reducing directional aliasing effects in refocused image

Abstract

Light field camera captures 4D light field data. Using the 4D data, light field camera may generate images focused at different depths as well as estimate a depth map. When using multi-camera array based light field data for refocusing, directional under-sampling may cause aliasing. Conventional methods use low pass filtering to reduce the aliasing artifacts. However, it may blur refocused image. A method that replaces aliasing regions with low frequency components of image has a drawback since it needs additional image fusion process. This thesis proposes a depth based interpolation method of light field data for reducing directional aliasing effects. Using a depth map, light field data can be interpolated in the spatial domain of refocused image. The proposed method reduces aliasing artifacts such as block artifacts. In simulations and experiments, we show that the proposed method has improved performance than conventional methods.;Light field 카메라는 일반적인 카메라와 달리， 공간 상의 방향 정보를 분리하여 기록하기 때문에， 임의의 깊이에 초점을 맞추는 재초점 (refocusing) 기볍파 3 차원 깊이 추정 퉁이 가능한 카메라이다. 카메라 배열로 얻은 light field 정보를 이용하여 재초점 기술을 수행 할 경우， 공칸 분해능에 비해 방향 분해능이 낮은 경우, aliasing 이 일어나게 되어 block artifacts 가 발생하게 된다. Aliasing 으로 인한 artifacts 를 줄이는 기존 방법으로 저역 통과 펼터를 통과시키거나， aliasing 이 일어나는 부분을 검출하여 저주파 대역의 영상으로 대체하는 방법 둥이 연구되었다. 하지만 재초점 영상의 초점이 맞는 부분도 블러되거나， 영상 합성과 같은 후처리를 필요로 하는 boundary artifacts 가 발생하는 동의 문제점이 있다. 본 논문에서는 영상의 3 차원 깊이 정보를 이용하여 light field 정보를 보칸하는 방법을 제안한다. 제안하는 방법은 재초점 영상의 공간 도메인에서 aliasing 이 일어나는 영역의 light field 정보를 한 픽젤 단위로 보칸하여, aliasing 으로 인한 block artifacts 를 개선한다. 이 때, aliasing 영역의 방향분해능이 aliasing 이 일어나지 않는 sampling rate 을 갖도록 light field 정보를 보간하기 때운에 block artifacts 가 줄어든다는 장점을 가진다. 본 논문에서는 기존 알고리즘파의 비교 및 분석을 통해 제안하는 알고리즘의 우수한 성능을 검증한다.