Estimation of depth information from 4D light field data using separable objective function with color information and multi-resolution approach

Abstract

We implemented the parallelizable algorithm using compute unified device architecture (CUDA) and confirmed the performance of the proposed method. In addition, to improve the performance of estimation, we incorporated color information in the objective function and applied multi-resolution approach for optimizing the objective function. Recently, many researchers have been studying methods for the accurate estimation of depth information from light field data. Since the amount of light field data is huge, expensive computation is required for the depth estimation. In this paper, we present a robust and fast algorithm that computes depth estimation by designing a separable objective function with a smoothness constraint, since the objective function is separable, the method can run in parallel. The proposed method creates and analyzes x-s and y-t 2D epipolar plane images (EPIs), where (x,y) is the spatial coordinate and (s,t) is the angular coordinate. We designed an objective function with a regularization function for reducing the noise in the estimated depth map. Since the regularization function is not separable, we design a surrogate function for parallelizable system.;최근 다양한 라이트 필드 카메라가 출시됨에 따라 라이트 필드 데이터가 컴퓨터 그래픽 분야나 비전 분야에 더욱 널리 사용되고 있다. 라이트 필드 데이터는 plenoptic 카메라와 다중 카메라 배열을 통하여 얻을 수 있으며, 라이트 필드 데이터를 활용한 어플리케이션 중 하나는 영상 간의 disparity 를 이용해 깊이를 추정하여 깊이 지도를 생성하는 것이다. 현재 국내외에서 라이트 필드 데이터를 이용하여 깊이 지도를 생성하는 다양한 방법에 대하여 연구를 진행하고 있다. 하지만 현재까지 연구된 라이트 필드 데이터를 활용한 깊이 지도 생성 알고리즘은 설계된 알고리즘이 모바일 디바이스에 적용되는 것에 대해 고려하지 않았으며, 그로 인해 매우 오랜 수행시간을 요구하는 결과를 초래하였다. 본 논문에서는 라이트 필드 데이터를 활용하여 정확한 깊이 추정을 수행하기 위해 설계한 알고리즘에 대해 설명하고 알고리즘을 병렬화하는 기법을 통해 fast computation 을 수행하는 방법에 대해 설명한다. 깊이 추정 알고리즘은 공간 도메인인 (x,y) 그리고 방향 도메인인 (s,t) 를 x-s 그리고 y-t 축을 가진 2D epipolar plane 영상으로 구성하고 분석하여 깊이 지도를 생성한다. 정확한 깊이 지도를 생성하기 위하여 정규화 항을 추가적으로 고려하여 잡음이 최소화되는 동시에 정확한 깊이 지도를 생성한다. 정규화 항을 시스템에 적용하면 주변 픽셀간의 정보 중첩으로 인하여 오랜 연산시간을 요구하므로 정규화 항을 separable quadratic surrogate function 으로 재설계하여 데이터를 병렬적으로 처리 가능한 시스템으로 재구성하고 GPU 프로그래밍을 통해 fast computation 을 수행한다.