모바일 프로젝터 표시자 제어 기반 인터랙티브 혼합형 디스플레이

Abstract

A mobile display can be used to improve the brightness and resolution of the region of interest in a large display image. The advance of projector technology and recent research on combination of a mobile projector with a large display have demonstrated the potential of mobile projectors as secondary displays in interactive applications. In their scenario, accurate calibrating of the mobile projector is one of the most important issues. Most previous proposals have required some large-scale physical apparatus to track the mobile display, which reduces their feasibility. This thesis presents an interactive combined display based on constrained marker for a mobile projector. We solve the problems previously encountered in calibrating the mobile projector and user accessibility to distant areas in the large display, which makes better use of combined displays in various applications. There are three key elements to this new approach. First, instead of using a cumbersome fixed camera setup, we attach a single camera to the mobile projector and embed a visual marker in the large context image. The visual marker is a rectangular frame made up of three concentric bands of color. The color of the middle band is complementary to that shared by the inner and outer bands, which allows us to use a straightforward hue-based segmentation method. Second, by constraint-based updating of the marker, we can determine the position of the mobile projector and generate an appropriately warped version of the projected image. The center of the marker should correspond with the center of the projected image, and action to meet this constraint is taken in every camera frame. When a movement of the mobile projector takes the center out of alignment, we calculate a new position for the center of the projected image and update the position of the marker within the context image, so that its center is realigned with that of the projected image. We then compute the shape of the projected image, so that the projected image is warped to the appropriate quadrilateral. By repeating this process, we can track the position of the marker and display appropriately corrected projected images as the user moves the mobile projector. Lastly, we allow interaction to be achieved by gestures, made by the user with whichever hand is not holding the mobile projector. We follow the shadows that the user’s free hand makes on the screen. The mobile projector provides the light source to create the shadows and we can consider the region illuminated by the mobile projector on the screen to be a miniature of the space of the entire large image. We can then locate the shadow of the user’s hand in the sequence of camera frames, and the fingertip position can be interpreted as a pointer to a potentially distant position on the large image. An extra degree of freedom is provided by constructing a circle centered on the fingertip position, with a radius that changes in response to the distance between the user’s fingertip and the screen. The proposed methods require neither a complicated physical setup nor additional space, making them highly adaptable to a range of large display environments and finally providing a promising alternative to existing interfaces for interacting with large displays. ;대형 디스플레이와 모바일 디스플레이를 결합한 혼합형 디스플레이는 대형 디스플레이의 화질을 개선하고 전체와 관심영역을 동시에 가시화할 수 있다는 점에서 개발이 점차 늘어나고 있다. 모바일 디스플레이로서 프로젝터는 자체 하드웨어 크기에 비해 대형의 영상을 제공할 수 있다는 장점과 하드웨어 발전으로 인한 화질 개선과 소형화로 인해 혼합형 디스플레이를 구축하는데 매우 적합하게 인식되고 있다. 그러나 모바일 프로젝터는 스크린과의 기하 관계를 고려해야 하는 복잡성 때문에 실제 혼합형 디스플레이에의 적용된 사례가 드물며 적용된 사례를 살펴보더라도 복잡한 하드웨어 구성과 추가 공간을 요구하는 등 기존의 디스플레이 환경에 쉽게 적용하여 활용하기에는 어려운 실정이다. 본 논문에서는 “모바일 프로젝터 표시자 제어 기반 인터랙티브 혼합형 디스플레이”를 제안한다. 제안 방법에서는 기존의 혼합형 디스플레이가 갖는 문제를 해결하여 카메라를 모바일 프로젝터에 부착하는 간단한 하드웨어 구성으로 빠르고 정확하게 모바일 프로젝터 투사영역의 위치와 형태를 계산하여 대형 디스플레이와 모바일 프로젝터의 캘리브레이션을 수행하고 사용자가 직접 모바일 프로젝터를 들고 움직여야 하는 번거로움 없이도 대형 디스플레이 전영역 접근을 원활히 할 수 있도록 함으로써 보다 다양한 응용 분야에 활용될 수 있도록 한다. 주요 접근 방법으로는 첫째, 하드웨어 복잡도를 최소화하면서 모바일 프로젝터 투사영역의 위치를 추적하기 위해 카메라를 모바일 프로젝터에 부착하고 대형 디스플레이 영상에 모바일 프로젝터 투사영역의 위치를 가리키는 표시자를 삽입한다. 표시자는 사용자 시야를 방해하지 않으면서 모바일 프로젝터와 대형 디스플레이간 투사변환을 계산할 수 있도록 모바일 투사영역을 둘러싸는 사각형으로 정의하고 카메라 영상에서 안정적인 추출결과를 제공하기 위해 두 가지의 보색을 사용하여 표시하고 분할 단계에서 표시자의 색상과 형태 정보를 사용한다. 둘째, 모바일 프로젝터가 움직이는 상황에서 카메라 뷰 상에 표시자의 가시성을 보장하기 위해 표시자가 항상 이동 투사영역의 중심에 위치하도록 하는 제약(constraint)을 부여하고 카메라 연속영상을 사용하여 측정하고 수정하는 작업을 통해 제어한다. 이 같은 방식을 통해 표시자는 이동 투사영역이 사용자에 의해 움직이게 되더라도 이를 동일하게 따라가면서 실시간 캘리브레이션을 가능하게 한다. 셋째, 대형 영상의 전영역 접근을 위하여 사용자 손가락의 그림자를 사용한다. 그림자 생성을 위한 광원은 모바일 프로젝터 투사광이 되며 모바일 프로젝터에 부착된 카메라 연속 영상에서 손 그림자 영역을 추출하고 손끝의 위치를 결정한다. 모바일 프로젝터 투사영역을 대형 디스플레이 전체 영역에 대응시켜 손끝의 위치에 따라 멀리 떨어진 영역을 선택할 수 있도록 한다. 또한 손끝 그림자 영역을 원형으로 근사하고 근사 원의 반지름 변화를 손가락과 스크린 표면간 거리로 대응시킴으로써 개선된 입력 자유도를 제공한다. 본 논문에서 제안한 인터랙티브 혼합형 디스플레이는 기존에 구축된 디스플레이 환경을 쉽게 활용하면서 개선된 인터랙션을 가능하게 함으로써 대형 디스플레이와 모바일 프로젝터의 상호 보완 효과를 극대화하고 다양한 어플리케이션에의 활용도를 높일 수 있다.