프로젝션 월 환경에서의 카메라를 이용한 실시간 헤드 트래킹

Abstract

The virtual reality can be classified into full-immersive, semi-immersive and non-immersive type by the sense of immersion, and the degree of presence it provides. Among them, the semi-immersive VR is especially advantageous to construct effective virtual environment easily without complex and expensive devices. So it has been widely studied. The projection wall, a semi-immersive VR device, is a stereo projection display system which features an optimum in light intensity and presents a brilliant 3-D image. This device has an advantage that it is easy to collaborative works since it shows a virtual object on the vertical screen naturally. In addition, it gives a user the high sense of immersion and improves human understanding through its wide screen. Therefore by complementing the tracking system to the projection wall, user can experience a various and better VR through the visible presence and the sense for the real by the user interaction. Generally user interaction within this environment has got by the magnetic tracker. But this tracker can't support the tracking requirements enough for projection wall like followings: it needs wider tracking region than a general display system, and shouldn't restrict the movement of user in this region. This thesis attempts to extend the utility of the projection wall by constructing head-tracker based on camera tracking as an optimal tracking for the projection wall environment. To do this, the infrared beacon and the camera that an infrared filter is attached to is used for having no influence to the projection system which needs a dark environment. And to secure full space in front of projection wall as the tracking region, the 3-D position is calculated by the theorem based on triangulation. In addition, the beacon position of the next frame image is predicted by position estimation process using the shift vector method, then maker searching process is executed on just partial image region in order to support real time tracking speed. This thesis uses a shutter glasses that 3 infrared LEDs are attached to as an interface. Therefore user can observe the virtual objects as same method with before and change the view point of the virtual object freely by head-tracking using this tracker.;가상현실은 사용하는 시스템에 따른 몰입감과 실제감의 정도에 따라서 몰입형, 반몰입형, 비몰입형으로 나눌 수 있다. 이 중 반몰입형 가상환경은 복잡한 고가의 장비를 사용하지 않고도 비교적 쉽고 간단하게 가상공간을 구축할 수 있다는 장점이 있어서 광범위하게 연구가 진행되고 있다. 반몰입형 가상현실 장비인 월 프로젝션은 최적의 광도와 휘도를 가진 3차원 프로젝션 디스플레이 지원 장치이다. 이 장비는 가상 객체 모델을 넓은 수직 공간 상에 자연스럽게 가시화하여 공동 작업에 용이하고, 대형 스크린을 사용하여 몰입감이 높으며 인지도를 향상시킬 수 있다는 장점이 있다. 따라서 이 장비에 트래킹 시스템이 추가되면 가시적인 실제감과 상호작용이 주는 현실감으로 사용자는 보다 다양하고 향상된 가상현실을 체험할 수 있게 된다. 그러나 현재 프로젝션 월에서 보편적으로 사용되고 있는 마그네틱 트래커는 일반적인 가상 현실 디스플레이 시스템보다 더 넓은 트래킹 영역과 사용자의 자유로운 이동성에 대해 프로젝션 월에서 요구하는 트래킹 조건을 충분히 지원하지 못하고 있다. 본 연구에서는 프로젝션 월 환경에 가장 적합한 트래킹 기법으로써 카메라 트래킹 기법을 선택하고 헤드 트래커를 구현하여, 프로젝션 월의 효용성을 확장시켰다. 이를 위하여 어두운 환경을 요하는 프로젝션 시스템에 영향을 주지 않도록 적외선 비컨과 적외선 필터를 부착시킨 카메라를 사용하였고, 스크린의 전면을 트래킹 영역으로 확보하기 위하여 삼각측량법 기반의 3차원 좌표 계산으로 트래킹을 수행하였다. 또한 변화 벡터 방식의 위치 추정 단계를 통해서 다음 프레임에서의 마커의 위치를 미리 예측함으로써 부분 이미지 영역에 대해서만 마커 검색을 수행하여 트래킹의 속도를 실시간으로 향상시켰다. 본 논문에서 구현한 헤드 트래커는 3개의 LED를 부착시킨 셔터 글래스를 인터페이스로 사용하므로 사용자는 프로젝션 월에서 기존과 동일한 방식으로 가상 객체를 관찰하면서 헤드 트래킹을 수행하여 자신의 의도대로 가상 객체의 시점을 변경시키게 된다.