Robust Depth Estimation Using Epipolar Plane Images obtained by Multi-Camera Array

Abstract

깊이 지도는 물체의 자동인식, 자동 영상분할 등 다양한 분야에 활용되고 있으며, 다양한 종류의 알고리즘을 이용하여 카메라로부터 사물까지의 깊이를 추정할 수 있다. 스테레오 카메라를 이용하여 깊이 지도를 추정하는 방법이 가장 많이 알려져 있다. 이 방법은 두 영상간의 시차의 정도를 이용하여 깊이 정보를 얻기 때문에 영상의 가장자리 정보의 영향을 많이 받고, 방향 정보가 적어 비교적 정확한 깊이 지도를 얻기 힘들다는 단점이 있다. 이 단점을 해결하기 위한 방법으로, 다수의 카메라로 얻은 4D 영상의 축을 재배치하여 얻은 Epipolar plane images (EPIs) 를 이용한 방법이 있다. EPIs 를 이용한 깊이 추정 알고리즘은, 연속된 카메라들의 시차로 인해 나타나는 기울기를 이용하여 깊이를 추정한다. EPI 영상을 이용하여 깊이 지도를 추정하는 알고리즘은 가장자리 정보의 영향이 줄어들어 비교적 정확한 깊이 지도를 얻을 수 있다. 하지만 기존에 제안된 알고리즘들은 추정한 깊이 지도를 후 처리하여 잡음이 적은 깊이 지도를 얻는 알고리즘으로, 이 방법은 깊이 지도를 얻을 때에 발생한 잡음을 근본적으로 제거한다고 볼 수 없다. 본 논문에서는 EPI 영상을 이용한 깊이 추정을 하는 과정에서 발생하는 잡음을 제거, 보다 더 정확한 깊이 정보를 추정하는 방법을 제안한다. 그리고 기존의 알고리즘과 비교, 분석하여 본 알고리즘의 우수성을 검증하도록 한다.;Depth map is obtained through an algorithm which estimate the depth of the object from the camera. The depth map is being used in the automatic recognition, automatic segmentation and various application. For depth estimation, stereo camera system usually uses disparity of two images and this algorithms are affected by edge information. Stereo camera system has few directional information, it is difficult to compute correct depth information where the locations of occlusion. We can solve this problems by using a multi camera array. Multi camera array obtains 4D light field data, and we can obtain Epipolar Plane Images (EPIs) by rotating the data axis. Because of disparity, each of pixels in EPIs have gradient component which means depth information. Using EPIs to estimate depth map can obtain correct depth map more than stereo camera system. Several existing algorithms perform post processing of result depth map for reducing noise. This processes can’t solve fundamental problem but reduce noise. In this paper, I introduce a framework for high-performance depth estimation algorithm which solve the fundamental problem about how to choose the correct angle in each pixel. To demonstrate improvement, I will compare result of reference algorithm and result of my algorithm.