정면 투사 환경에서의 자동적 칼라 추정에 의한 손 움직임 추적 알고리즘

Abstract

Recently, it is a demanding issue for research on natural interaction with computer without using keyboard or mouse in the large display and wearable computing environments. Moreover, as changing into ubiquitous computing environment is getting wider, natural interaction technique to work without using any devices is continuously required. In this research, we are aiming to interact with computer through virtual objects using user's bare-hand in front projection environment. A general PC camera is capturing the projected screen which includes the user's hand. By tracking the user's hand, the position of the fingertip of the hand is used to give commands. to the computer. Because tracking the hand in this kind of environment is rarely studied , novel approach is required. First, the projected light is added to the user's hand, so we cannot use the inherent skin color information to detect the hand area. Secondly, it is hard to do realtime tracking using general background subtraction technique because projected light dynamically changes. Therefore, in this research, we are suggesting automatic color estimation technique to track the bare-hand in front projected environment. First calibrate the color transform by capturing the projected original color through the PC camera when the color is front projected on the screen. We make a subtracted frame by comparing the color estimated frame with the actual camera input frame. Then, we detect and track the hand area in that frame. Features for color transform is effected by surrounding illumination settings and geometric transform features are also effected by positional relationships of the projector and the camera. So, in order to apply these environmental figures we perform color and geometric calibration in the initial step. Our hand tracking experimental prototype implemented by our suggested method is applied to existing FishTank Simulation program which was supposed to interact using mouse and monitor. We front projected the image on the screen and experimented the interaction with 6 subjects. As a result. they all successfully interacted using their bare hand. In the future, it is required to experiment this algorithm in more dynamically changing background. Also, it is expected to improve the result of the color estimation by calibrating the effects of the neighboring pixels in realtime.;최근 대형 디스플레이 및 웨어러블 컴퓨터의 등장과 함께 키보드와 마우스를 사용하는 일반 데스크 탑 환경에서 벗어난 컴퓨터와의 자연스러운 상호 작용 연구가 활발히 진행되고 있다. 더욱이, 유비쿼터스 컴퓨팅 환경으로의 변화가 이루어지는 추세에 따라 사람이 특별한 장비를 착용하지 않은 채 자연스러운 행동 양식에 따라 특정한 작업을 수행할 수 있도록 하는 기술은 계속 요구되고 있다. 본 논문에서는 프로젝터를 통해 정면에서 스크린에 영상을 투사하며, 사용자가 투사된 영상 내에서 손을 움직일 때 움직이는 손의 끝을 추적하고자 한다. 스크린의 영상 위에 올려진 사용자의 손을 포함한 스크린의 영상 영역은 단일 PC 카메라를 통해 입력받으며 사용자의 손끝의 위치를 추적함으로서 해당 위치 정보를 이용하여 컴퓨터와 상호작용하게 하는 것이 목적이다. 이와 같이 프로젝터에 의한 정면 투사 환경에서 사람의 손을 인식하는 것은 다음의 이유들로 인하여 기존의 손의 인식 및 추적 방법들을 사용할 수 없다. 첫째, 프로젝터에 의해 투사된 빛은 스크린 뿐 아니라 사용자의 손 위에도 합쳐지므로 기존의 사람 고유의 피부색 정보를 사용한 인식 방법을 사용할 수 없다. 둘째, 투사되는 영상은 예측할 수 없이 동적으로 변화하기 때문에 일반적인 배경 추출 방법을 적용하여서는 만족스러운 추적 결과를 도출하기 어렵다. 따라서, 본 논문에서는 우선 투사될 원본 영상의 칼라 값이 투사된 후에 카메라를 통해 입력되어 변환되는 칼라 값에 대한 초기 캘리브레이션을 수행하여, 실시간에서 임의의 원본 영상에 대해 카메라 입력 화면으로의 칼라 추정을 수행할 수 있게 한다. 그리고, 이를 통해 실제 카메라 입력 영상과의 비교를 통해 손의 움직임을 추적하는 접근법을 제안한다. 원본 영상의 픽셀 값에 대한 카메라 입력 시 나타나는 칼라 반응 값은 주변의 조명 상황과 사용되는 장비 및 다양한 환경적인 요인들에 따라 영향을 받는다. 또한, 원본 영상의 좌표에 대한 투사 후 카메라로 입력 시 나타나는 기하학적 변환 관계 역시 카메라와 프로젝터가 놓인 위치 관계에 따라 영향을 받는다. 따라서, 이러한 환경적인 요인을 적용하기 위해 초기 캘리브레이션 단계에서는 주변의 조명 상황 및 장비들 간의 기하학적 위치 관계를 포함하는 칼라 변환 룩업 테이블 생성 및 기하학적 변환 파라미터를 구하는 과정을 거친다. 실시간 추적 단계에서는 초기 캘리브레이션 단계에서 지정된 환경 요소들이 변하지 않아야 한다는 가정이 존재하며, 앞서 캘리브레이션된 정보를 바탕으로 카메라 입력 영상에 대해서는 기하 보정을 수행하고 원본 영상에 대해서는 칼라 추정을 수행한다. 이 후에는 위와 같이 생성된 두 개의 영상 간의 비교를 통해 사람이 존재하는 영역을 검출하고 해당 영역으로부터 손의 끝 위치를 추적함으로 컴퓨터와의 상호작용을 위한 정보로 사용한다. 위와 같은 제안된 방법으로 구현된 손 추적기는 기존에 데스크 탑 환경에서 마우스를 통해 상호 작용되던 어항 시뮬레이션 프로그램에 적용되어 정면 투사 환경에서 사용자의 손으로 스크린의 화면 위에 뜬 가상 객체를 통해 상호 작용하는 적용 프로토타입을 구현하였다. 이는 6명의 실험자를 대상으로 실험이 이루어졌으며, 안정적인 상호작용 결과를 나타내었다.