깊이 정보의 속성 및 가시광 영상을 이용한 강인한 깊이 영상 추정 기법

Abstract

키넥트(kinect) 센서는 가시광 영상과 깊이 영상을 동시에 획득할 수 있는 마이크로소프트사에서 개발된 기기이다. 키넥트 센서를 통해 측정된 깊이 정보는 가격 대비 높은 성능으로 많은 연구에서 활용되고 있다. 하지만, 키넥트의 깊이 영상은 해상도가 높지 않고, 잡음이 심하다는 문제점을 가지고 있다. 특히, 측정되지 못한 깊이 홀(depth hole) 과 같은 광학 잡음이 깊이 영상 곳곳에 발생한다. 이처럼 잡음이 많은 깊이 정보는 다양한 연구 분야에 적합하지 않기 때문에 문제 해결이 필요하다. 깊이 정보를 추정하기 위한 여러 연구가 진행되어 왔지만, 기존 연구는 물체 경계나 깊이 홀이 작은 경우에 대해서만 잘 동작하는 경향이 있다. 따라서 본 논문에서는 깊이 홀의 크기가 큰 경우에도 잘 동작하는 강인한 깊이 영상 추정 기법을 제안한다. 제안 기법은 깊이 정보와 가시광 영상을 이용하며 깊이 정보는 공간적인 변화(spatial variation) 가 크지 않다는 사전 정보(a priori) 에 기반하여 정규화 항을 추가적으로 고려해준다. 기존 알고리즘과의 비교 및 분석을 통해 제안하는 알고리즘의 우수한 성능을 검증한다.;Kinect sensor is a device developed by Microsoft that can acquire both RGB and depth images at the same time. The depth information captured by the Kinect sensor has been used in many studies thanks to its cost-effectiveness. However, the depth image of Kinect sensor has problems such as low resolution and high noise. In particular, optical noise, such as an unmeasured depth hole, occurs throughout the depth image. Such noisy depth information is not suitable for most applications. To resolve the problem, several studies have been conducted to estimate depth information. However, previous studies showed acceptable performance only for boundary or small depth holes. In this paper, we propose a robust depth image estimation technique that works well even when the size of depth hole is large. The proposed method incorporates a regularization term based on a priori information that true depth does not have large spatial variation. We estimate depth image by optimization of an objective function that utilizes RGB image and the regularizing depth function. In experiments, the proposed method showed better performance than conventional methods.