카메라를 이용한 손동작 인식에 의한 마우스 입력 장치의 개발

Abstract

컴퓨터의 발전과 함께 시작된 입력 장치의 개발은 초창기의 키보드에서부터 마우스, 조이스틱, 터치패드, 스캐너에 이르기까지 다양하게 이루어져 왔다. 특히 그래픽 유저 인터페이스(GUI, Graphic User Interface)의 등장으로 초창기의 키보드 중심 컴퓨터 입력 방식에서 변화하여, 마우스만으로 컴퓨터를 조작하는 것이 가능하게 되었다. 이로써 마우스는 컴퓨터 인터페이스에서 가장 중심이 되는 포인터로 자리매김 하게 된 것이다. 하지만 반복적이거나 정밀한 작업에 마우스를 장시간 사용하게 되면 불편한 작업 자세가 누적되어 손가락과 손목, 어깨 등에 통증을 호소하는 사람들이 늘어나게 되었다. 이러한 현상으로 인해 이미지 프로세싱을 통한 물체인식, 음성인식, 별도의 센서를 활용한 신체인식 기술 등을 이용하여 이러한 불편함을 덜어주고 친숙하게 사용할 수 있는 입력 장치의 개발이 활발히 이루어지고 있다. 그러나 이전에 개발된 장치들은 환경을 갖추는데 드는 비용이 너무 비싸고, 작업 공간의 효율이 떨어지며, 사용자에게 익숙하지 않는 등의 이유로 현재의 마우스를 대체하기는 어렵다. 따라서 본 논문은 사용자가 마우스를 사용하면서 느꼈던 신체적인 불편함과 공간상의 제약을 최소화 시킬 수 있는 핑거 마우스를 제안한다. 신체를 활용한 기존의 인터페이스와 달리, 손에 별도의 센서를 부착하지 않고 두 대의 USB 카메라만을 사용함으로써, 비용과 공간적인 측면에서 그 활용성을 높였다. 일반적인 컴퓨터 작업환경에서 USB 카메라를 통해 손을 인식하고 옵티컬 플로우(Optical flow) 방법을 기반으로 손동작의 움직임을 추적한다. 보편적인 컴퓨터 작업 영역에서 손을 이탈하지 않고 키보드 위에서 움직이는 손을 인식하고 추적하여 모션벡터를 생성한 다음, 이를 기존의 마우스 포인터 동작과 대응시켰다. 본 논문에서 개발한 입력장치는 노트북에서의 입력장치 사용과 같이 작업공간이 제한적인 상황에서 마우스 사용을 위한 별도의 공간을 필요로 하지 않기 때문에 공간이 절약된다는 장점이 있다. 기존의 마우스의 신체적인 불편함과 공간제약의 문제를 해결하면서도 포인터의 방향 전환을 직관적으로 지시하는 것이 가능하다는 점에서, 본 연구가 익숙하고 자연스러운 컴퓨터와의 상호작용을 제공할 수 있을 것으로 기대된다.;As computer technology advances, various input devices such as keyboard, mouse, joystick, touch pad, and scanner have been developed. Graphic User Interface (GUI) changed the traditional keyboard-based input system to mouse-based input system. The mouse has been settled as a key component of computer interface. However, many people have complained about their physical inconvenience due to working posture of using mouse to do repetitive and accurate work. To reduce this inconvenience, new input devices that utilize object recognition through image processing, voice recognition, and body recognition are vigorously under development. Unfortunately those devices unsuccessfully replace the mouse because they are actually inconvenient and furthermore expensive than conventional mouses. This study suggests ‘Finger Mouse’ that minimizes physical inconvenience and spatial limitation of a conventional mouse. The proposed ‘Finger Mouse’ only uses two USB cameras without any devices attached to hands. Therefore, the ‘Finger Mouse’ has advantages of cost-effectiveness and overcoming spatial limitation over other devices. The ‘Finger Mouse’ analyzes the motion of hands using USB cameras and traces the movement of hands by a optical flow method. The two cameras recognize moving hands on the keyboard, create motion vectors by tracing the movement, and finally correspond it to the movement of mouse pointer. Using the ‘Finger Mouse’ we developed human hands are not leaving the keyboard area, save the desk space as the user does not need additional working space for grab a mouse.