실시간 장소 인식 시스템의 설계 및 구현

Abstract

유비쿼터스 시대가 도래하면서 컴퓨팅환경은 점점 더 개인화되어가고 있으며, 그에 맞춰 사용자의 상황에 맞는 서비스를 제공하는데 필요한 기술들이 요구되고 있다. 특히, 이러한 기술요소 중의 하나인 사용자의 위치를 파악하는 장소인식 기술은 이미 로봇비전 및 웨어러블 컴퓨팅 분야에서는 그동안 활발히 연구되어 왔다. PDA나 PMP, 휴대폰 등의 모바일기기들을 중심으로 컴퓨팅능력이 통합, 확장됨으로써 개인화된 모바일서비스의 필요성이 커지는 요즈음 모바일 증강현실에 대한 산업적인 관심 또한 증대되고 있다. 모바일기기에서 사용자에 알맞은 정보를 실시간으로 디스플레이하기 위해서는 공간정보와 사용자의 위치를 알아내야한다. 그동안 장소인식 기술에 관련한 많은 연구가 있었으나 그 적용분야가 모바일 혼합현실에 적용된 사례는 드물었다. 필연적으로 모바일 사용자의 문맥상황에 적합한 정보를 제공하기 위한 기반 기술로서 장소인식 기술은 중요한 연구 분야이다. 장소인식 시스템을 크게 두 가지로 구분하면 GPS나 RFID등의 센서기반 방식과 카메라기반 방식이 있는데 비용이 저렴하고 실내 환경에 적합하며 보다 정밀한 위치인식이 요구되는 시스템에서는 영상신호를 이용한 카메라기반 방식이 주로 활용되고 있다. 카메라기반의 장소인식 시스템은 정해진 장소를 자유롭게 이동하며 사용자에 장착된 카메라로부터 학습데이터를 습득한 후에, 실시간에 카메라로부터 입력되는 영상 신호를 분석함으로써 사용자가 어디에 있고 어디를 바라보고 있는지를 파악하는 방식이다. 본 논문에서는 모바일 카메라로 인식된 실내 공간 내에서 사용자에게 알맞은 증강정보를 가시화하는 AR Annotation & Guide에 활용될 수 있는 실시간 비디오기반 장소인식 시스템을 제안하고자 한다. 이를 위해, 단일카메라를 이용하고 실시간에 가능하며, 조명상태의 변화와 국소적인 장면변화에 강건한 알고리즘을 채택하였다. 영상신호로부터 추출된 이미지 특징들과 장소간의 이전확률을 이용하여 다음 장소로의 이동확률을 추정하는 방식으로, 장소의 인접관계를 표현하는 그래프 기반의 모델을 채택하였다. 이미지 추출 방식으로는 조명과 작은 장면변화에 강건한 것으로 알려진 Composed Receptive Field Histograms(CRFH)을 적용하였다. 본 논문에서 제안한 비디오기반 실시간 장소인식 알고리즘은 특정건물내의 AR Annotation & Guide System에 적용하기위하여 여러 시험자들을 대상으로 실험이 이루어졌으며 모바일 혼합/증강현실 시스템으로서 안정적인 결과를 나타내었다.;As an age of ubiquitous is arriving, computing environment is more and more personalizing. Accordingly, technology to need for offering services according to a user's situation is being demanded. In particular, place recognition techniques to understand a user's position have already been studied with activity in the field of robot vision and wearable computing. Recently, centering on mobile devices (PDA, PMP, mobile phone, etc.) computing power is being combined and expanded and personalized mobile service's necessity is increasing. so, industrial interest about Mobile Augmented Reality is being increased too. In the mobile device, for displaying information to be suitable for user, we have to find out spacial information and user's position. There have been many researchs about place recognition technique, but cases applied to mobile augmented reality was rare. As a necessity, place recognition technique that is base technique for offering suitable information to mobile user's context is essential research topic. There have been two approaches to deal with place recognition system: sensor-based method(GPS, RFID, etc.) and camera-based method. For system to needs low cost and indoor environment and accurate place recognition, camera-based method is mainly being used. Camera-based place recognition system is that recognize where to be and where to see. that is, after freely moving around arbitrary places and acquiring training data from camera, analyzing image signal from camera in real-time. In this research, we suggest a video based real-time place recognition system able to be applied to AR Annotation & Guide that augment suitable information about a real indoor environment in user's mobile device. For that reason, we adopt algorithm that use single camera and is able to apply in real-time and is robust to illumination variation and minor scene variation. we adopt graph-based model that represent adjacent relation between places and is used to inference transition probability to next place using features extracted from image signal and place transition probability. For image feature extraction, we apply Composed Receptive Field Histograms(CRFH) that is robust to illumination and minor scene variation. Our video based real-time place recognition implemented by our suggested method is applied to AR Annotation & Guide System and we experimented about several persons. As a result, we found that our proposed method showed reasonable result by mobile augmented reality system.