몰입형 VR 사용자 미러링의 데스크탑 환경으로의 전환

Abstract

가상 현실(Virtual Reality)이 일반 사용자들에게 보다 친숙한 환경이 되기 위해서는 일반적인 환경으로의 구성 및 적용이 필요하다. 또한, 가상 현실은 컴퓨터 시스템이 생성하는 3차원의 인공적인 세계를 통한 체험이 주가 되기 때문에 완벽하게 현실을 재현할 수 없다. 현재의 가상 현실 분야는 사용자가 보는 현실 세계에 컴퓨터가 만들어 낸 부가 정보를 합하여 보여주는 혼합 현실로 그 발전을 계속 하고 있다. 이는 가상 현실에 실 세계를 반영함으로써 현실성을 더하고 더 나아가 일반화, 대중화를 통한 실용성 확보에 그 목적이 있다고 할 수 있다. 위와 같은 혼합 현실의 예로 사용자 미러링을 들 수 있다. 사용자 미러링은 컴퓨터 그래픽스 객체로 구성된 가상세계에 실사 기반 사용자 영상을 투사하여 보여주는 것으로 사용자를 가상 세계에 직접 참여시킴으로써 사용자 간 시각 기반 커뮤니케이션 효율을 증진시켜준다. 따라서 실감형 e-learning, 원격 회의 및 협업과 같은 혼합현실 기반 응용 분야에 유용하게 활용될 수 있다. 현재 기 개발된 사용자 미러링은 CAVETM-Like 시스템이라는 3차원 몰입형 공간 상에서 이루어지고 있다. 하지만 CAVETM-Like 시스템은 초기 도입 비용과 유지 보수비가 매우 높기 때문에 대중화가 어렵고, 실용성이 떨어진다. 따라서 본 논문에서는 CAVETM-Like 시스템의 제약을 살펴보고, 이에 의거하여 CAVETM-Like 시스템 내에서 수행되던 사용자 미러링을 데스크탑 환경으로 전환함으로써 다양한 어플리케이션으로 확장하여 그 활용도를 높이고자 한다. 주요 접근 방법으로는 첫째, 특수하게 제작된 대형 CAVETM-Like 시스템을 데스크탑 환경으로 재구성하고, 사용자의 키, 사용자가 착용한 옷의 재질, 색, 환경의 밝기, 적외선 광원의 위치를 변화하며 실험하였다. 둘째, CAVETM-Like 시스템과 같은 공간형 디스플레이에서의 가상 세계 렌더링, 실시간 스트리밍, 오디오 등을 위해 스위스 연방 공과 대학교 (ETH)에서 개발한 라이브러리인 blue-c API를 제거하고, 상용화 된 라이브러리인 OpenGL Performer를 사용함으로써 사용자 미러링을 일반화하고자 하였다.;In order for virtual reality to be an environment more friendily to ordinary users, we need to implement and apply it as an ordinary environment. In addition, because virtual reality mainly aims at experiences through 3D artificial worlds created by computer systems, it cannot reproduce the real world perfectly. Today’s virtual reality is evolving toward hybrid reality that combines the user’s real world and additional information created by computer systems. The purpose of hybrid reality is to enhance reality by reflecting the real world in virtual reality and furthermore to secure practicality through generalization and popularization. User mirroring is an example of hybrid reality. User mirroring shows users’ photographic images by projecting them on a virtual world composed of computer graphic objects. The users participate directly in the virtual world and have efficient visual communication among them. Accordingly, user mirroring can be utilized usefully in applications based on hybrid reality such as realistic e-learning, tele-conference and collaborative works. Currently, user mirroring is implemented on a 3D immersive space called CAVETM-Like System. However, because CAVETM-Like requires high costs of introduction and maintenance, it is not easy to be popularized, and its practicality is low. Thus, the present study purposed to examine limitations in CAVETM-Like System, and based on the results, to convert user mirroring, which has been executed on CAVETM-Like System, to desktop environment for higher usability so that it can be extended to various applications. As to major approaches, first, we reconstructed large-size CAVETM-Like System implemented in a special way in desktop environment, and conducted an experiment while changing the users’ height, the material and color of the users’ clothes, the brightness of the environment and the position of infrared light sources. Second, for virtual world rendering, real-time streaming, audio, etc. in a space-type display like CAVETM-Like System, we tried to generalize user mirroring by removing blue-c API, a library developed by Swiss Federal Institute of Technology Zurich (ETH), and using OpenGL Performer, a commercialized library.