스테레오 비디오 기반 상호작용형 사용자 미러링

Abstract

사용자 미러링은 컴퓨터 그래픽스 객체로 구성된 가상세계에 실사 기반 사용자 영상을 투사하여 보여주는 것으로 사용자를 가상세계에 직접 참여시킴으로써 사용자간 시각 기반 커뮤니케이션 효율을 증진시켜준다. 따라서 실감형 e-learning, 몰입형 게임, 원격 회의 및 협업과 같은 혼합현실 기반 응용 분야에 유용하게 활용될 수 있다. 사용자 미러링이 실제로 활용되기 위해서는 입체감 지원, 실시간성 보장 및 고화질의 결과 영상 제공과 함께 미러링 된 사용자와 가상객체 간의 상호작용이 지원되어야 한다. 또한 특수 하드웨어를 제작하지 않고도 이미 각 대학 및 연구소에 설치되어 있는 기존의 디스플레이 환경에 쉽게 적용하여 활용할 수 있어야 한다. 본 논문에서는 이러한 요구 조건을 충족시키는 “스테레오 비디오 기반 상호작용형 사용자 미러링”을 제안한다. 제안한 방법에서는 미러링 될 실사기반 사용자 객체를 생성하기 위해 기존에 제안된 방법이 갖는 문제를 해결하여 입체감 있는 고화질의 사용자 영상을 빠르게 생성함과 동시에 가상객체 혹은 상대방과의 상호작용을 수행할 수 있도록 하여 보다 다양한 가상 및 혼합현실 응용 분야에 활용될 수 있도록 하였다. 주요 접근방법으로는 첫째, 고화질 입체 사용자 영상을 빠르게 생성하기 위하여 스테레오 비디오를 이용하였으며 디스플레이로 투사되는 빛의 변화를 차단하여 공간형 디스플레이 상에 있는 사용자를 강건하게 추출하기 위하여 적외선 영상을 추가로 이용하였다. 적외선 영상에 정의된 사용자 윤곽선 마스크를 스테레오 비디오 영상에 피팅(fitting)하여 컬러 정보를 갖는 사용자 영상을 추출하기 위한 방법을 제안하였다. 둘째, 투영 텍스처 기법을 적용하여 카메라 위치에 따라 발생할 수 있는 원근 축소(foreshortening)를 완화하였다. 이는 카메라 위치 설정을 보다 자유롭게 하므로 디스플레이 가림(occlusion)을 방지하여 기존에 이미 설치되어 있는 디스플레이 환경의 활용도를 높일 수 있다. 셋째, 사용자를 가상세계에 미러링 함으로써 가상세계를 공유하고 있는 상대방과의 보다 효과적인 시각적인 커뮤니케이션 지원에 활용되는 것에서 더 나아가 투영되는 가상세계와의 직접 상호작용을 수행하기 위하여 사용자의 머리와 손 끝을 탐지한 포인팅 제스처 상호작용 기법을 통합 제안하였다. 본 논문에서 제안한 스테레오 비디오 기반 상호작용형 사용자 미러링은 기존에 설치되어 있는 디스플레이 환경에서 쉽게 활용될 수 있고, 고화질의 입체감 있는 실사 기반 사용자의 모습을 상대방과 서로 주고 받을 수 있도록 함으로써 사실에 기반한 사용자 정보 교환에 매우 효율적이기 때문에 공간적인 제약을 넘어선 보다 다양한 어플리케이션에 활용될 수 있다.;User mirroring allows a user of a VR system to see each other users in a virtual world, together with virtual objects. Irrespective of their physical location, each user inhabits the same virtual world in the form of a video avatar. This promotes intuitive visual communication between users, and allows them to interact in scenarios based on mixed reality, such as immersive distance e-learning, games, teleconferencing and other remote collaborative applications. To integrate user mirroring with such applications, high-quality graphics need to be supported in real time together with methods of interaction between the user who is being mirrored and virtual objects in the virtual world. Scalability can be achieved by recycling existing VR environments and using off-the-shelf components eliminating expensive custom-made hardware. This thesis presents a method of interactive user mirroring which is based on stereo video, and which overcomes the problems previously encountered in generating user representations, allowing high-quality stereoscopic user avatars to be generated and displayed in near real time. A new method of interaction using pointing gestures is also proposed for collaborative applications based on virtual and mixed reality. There are three key elements to this new approach. First, images from stereo cameras are used to generate the avatar which represents a user in the virtual world. In addition to the stereo cameras, two monochrome cameras with band-pass filters are used to extract the user’s silhouette robustly. By using an infrared image the visible light coming off the VR display screen is blocked. A silhouette of the user can be obtained from the infrared image, transformed, and applied to a stereo color image to mask the background and isolate the user. Second, the foreshortening which occurs because of the position of the camera is reduced by projective texture. This permits a certain amount of freedom in positioning the cameras to avoid obstructing the display Third, pointing gestures made by a user are interpreted from head and fingertip locations, providing efficient visual communication between mirrored users, and permitting 3D interaction between users and virtual objects.