실내 모바일 증강현실 시스템을 위한 실시간 공간구조 인지 기법

Abstract

최근 UMPC, PMP, 휴대폰 등의 모바일 기기의 보급과 사용이 증대되면서 모바일 기기에서 개인화된 서비스나 새로운 형태의 콘텐츠를 제공 받고자 하는 사용자의 요구도 함께 증가되고 있다. 이런 요구에 부응하여 최근, 실세계와 가상 환경을 결합하는 증강 현실 시스템을 모바일 기기에 접목하여 사용자에게 정보를 효과적으로 제공하려는 노력이 활발히 이루어지고 있다. 증강현실 기술 중에서도 실세계와 가상객체를 정합하기 위해서는 실세계의 3차원 정보를 알아내는 기술이 중요한데, 카메라를 사용하는 대부분의 기존 연구는 한정된 공간이나 객체와 같은 지역적인 환경을 대상으로 한다. 그러나 건물의 이동통로와 같이 사용자가 모바일을 들고 이동하는 실내 환경은 대부분 텍스쳐(Texture)가 정확하지 않고, 거리와 실내조명의 영향으로 영상의 블러링(Blurring)이 일어나는 넓은 환경이다. 따라서 기존의 방법만으로 이러한 환경에서의 구조 인지 문제를 해결하는 것은 적합하지 않으며, 본 논문에서는 일반화 된 3차원 모델을 사용하여 모델링을 위한 비용과 시간의 노력을 줄이며 특정 건물에 한정되지 않고 복도와 계단 특징에 맞는 카메라 추적방법을 적용한 실시간 공간구조인지 방법을 제안한다. 본 논문에서는 실내구조인지를 건물내의 이동의 대부분을 차지하는 계단과 복도로 한정하였으며, 장소에 대해 일반화 된 3차원 모델을 구축하였다. 본 논문의 알고리즘은 크게 일반화 된 모델을 3차원 모델을 실시간으로 카메라를 통해 들어오는 영상에 모델을 피팅 시키며 모델의 크기 값이 실제 환경에 맞게 변형되며 모델을 바라보고 있는 카메라의 초기 위치와 방향이 추정하는 단계와 카메라의 움직임에 따라 모델을 연속적으로 피팅 시키기 위하여 카메라의 위치와 방향을 실시간에 추적하는 단계로 이루어진다. 일반화 된 모델을 피팅시키기 위해 전처리과정과 Levenberg-Marquart(LM)방법을 이용한 최적화 과정을 사용하였으며, 카메라 추적에는 피팅 된 모델의 특징과 영상의 텍스쳐 특징점을 사용한 SLAM(Simultaneous Localization And Mapping)방법을 적용하였다. 본 연구는 기존의 논문들과 다음과 같이 차별화된다. 첫째, 정확한 모델 구축에 소모되는 노력 및 시간을 줄인다. 넓은 공간에 대하여 기존 연구와 같이 사전에 정확한 정보를 구축하기 위해서는 상당한 노력과 시간이 소요된다. 본 논문에서는 실제 환경에 맞게 정확히 모델링되지는 않았지만, 실제 환경에 맞게 변형될 수 있는 일반화 된 모델을 사용하여 사전 정보 구축의 어려움을 줄인다. 둘째, 특정한 장소에 한정되지 않는다. 본 연구에서는 건물의 복도와 계단의 공통된 특성을 일반화 한 3차원 모델을 정의하고 일반화 된 모델을 장소에 맞게 변형하여, 비슷한 구조를 가지는 건물에서도 별도의 모델링 과정 없이 공간구조인지가 가능하게 한다. 셋째, 카메라 초기화를 위한 사전 정보를 최소화 한다. 기존 논문에서는 미리 알고 있는 모델을 영상에 피팅(Fitting)하거나 마커(Marker)를 사용하여 카메라 초기화(camera calibration) 과정이 필요했다. 본 연구에서는 일반화 된 모델을 피팅하는 과정에서 모델을 바라보고 있는 카메라의 초기 상태를 구함으로서 카메라 초기화를 위한 사전 정보를 최소화 한다. 넷째, 텍스쳐가 분명하지 않고, 조명과 거리의 영향을 받는 구조에서 정확한 카메라 추적이 가능하다. 본 논문에서는 카메라추적에 모델과 텍스쳐 특징을 모두 사용하고 기존논문과 달리 선 정보를 이용하여 카메라 상태를 정확하게 보정해줌으로서 실내 환경의 조명 및 폐색에 강건한 구조인지가 가능하게 한다. 본 논문에서 제안한 실시간 공간구조 인지 알고리즘은 건물내의 증강현실 시스템에 적용하기 위하여 다양한 상황에 대하여 실험이 이루어졌으며 정확성과 속도에서 안정적인 결과를 나타내었다.;Many indoor mobile augmented systems such as guide system or game, it is demanded for 3D spacial information about the real world to put virtual object into the scene. For example, in case of the guide system that appears a virtual character, to enhance the sense of immersion in augmented environment, it is necessary to augment virtual character corrected according to the real scene structure. There are many previous approaches to solve this problem by a sensor or marker. However, it reveals low mobility , low immersion, or high cost. Because of these reasons, recently, camera based approach has been actively used. In this research, we are aiming to analysis indoor 3D scene structure in real-time by a monocular camera. Since most of navigation of a user in the building consist of corridor and stair, we focused on the corridor and stair out of parts of the building. It is hard to have a correct recognition of scene structure using the existing methods in the passageway(corridor and stair). Because model based approach requires high cost and long pre-processing time to construct specifical 3D model. And also, most of the passageway has not clear texture features and it is affected by the interior light, it is hard to apply feature based approach to the passageway. Therefore, in this paper, we suggest a realtime scene structure analysis method for the indoor mobile augmented reality system. First, we adopt the generalized 3D model that is representative of the corridor and stair. Secondly, we suggest environmental feature based tracking technique using model and texture features. During run-time, the generalized 3D model is corrected according to real scene structure and camera state is initialized by the parameter optimization technique. Then, it is tracking the camera in real-time using features of the fitted model and the texture sampling of video images. We experimented in other building. As an result, we found that our method is able to do enhanced scene awareness according to the real world. And our algorithm shows enhanced tracking accuracy in the passageway as compared with model based approach and feature based approach.