다중 영상에서의 텐서를 이용한 실시간 영상 생성

Abstract

Recently, Image-based Rendering was proposed as new visualization technique to generate images in real-time. Image-based Rendering use image of only one face without constructing volume to render new appearance of 3D scene, which generate image viewing at any position by drawing out 3D information from 2D reference images. In this paper, novel image is generated in real-time with object images of real world that is acquired by using general camera without geometry information such as position of object or camera. Images are reprojected images in restricted view with two images by using fundamental matrix which represent relation of each points on images projected to 2D plane and trilinear tensor which is proposed by shashua. Also, multi-image is used to view surrounding of object and novel images are generated from two suitable reference images along novel view. And I experiment with cube image and venus image made by computer, and cup image acquired in real world as reference images.;최근 영상 기반 렌더링(Image-Based Rendering)이라는 실시간 영상 생성을 위한 새로운 가시화 기법이 제안되었다. 영상 기반 렌더링은 3차원 장면의 새로운 형태를 렌더링하기 위해서 볼륨의 구성없이 단면 영상들만을 이용하는 기법으로 2차원 참조 영상으로부터 3차원 정보를 추출하여 임의의 위치에서 임의의 방향으로 본 영상을 생성하는 방법이다. 본 논문에서는 일반 카메라를 사용하여 획득된 실세계의 물체 영상으로 대상 물체나 카메라의 위치와 같은 기하 정보의 고려 없이 새로운 영상을 실시간으로 생성하고자 한다. 이를 위해 두 장의 참조영상을 사용하여 Laveau와 Faugeras에 의해 제안된 fundamental matrix로부터 2차원으로 투영된 영상의 각 점들에 관계를 파악하고, A vidan과 Shashua에 의해 제안된 trilinear 텐서를 적용함으로써 제한된 범주 내에서 이동된 시점에서의 영상을 재투영하여 생성한다. 또한 두 참조 영상을 이용하여 임의의 시점에서 바라본 새로운 영상을 생성하는데 그치지 않고 다중 영상의 사용으로 물체를 360도 회전하며 볼 수 있도록 확장하기 위해서 참조 영상의 수를 확장하여 변화하는 시점에 따라 해당되는 참조 영상으로 부터 새로운 영상들을 생성한다. 본 논문에서는 참조 영상으로 육면체, 비너스와 같은 컴퓨터 그래픽스에 의한 2차원 영상과 실세계의 사물을 카메라로 획득한 2차원 영상을 사용하였다. 육면체와 실사물 영상인 컵 영상의 두 참조 영상을 사용하여 가상카메라의 이동과 회전 등 여러 시점에서의 새로운 영상들을 생성하고, 18쌍의 비너스 영상을 사용하여 시점이 물체 주위를 회전하며 바라볼 때의 영상들을 생성한다.