Physics-based and Assistive Grasping for Robust Object Manipulation in Virtual Reality

Abstract

가상현실 환경에서 사용자의 몰입감을 향상시키기 위한 핵심 요소중 하나는 인간과 객체상호작용 방법이다. 하지만 기존에 제안된 목소리, 시선, 도구, 제스처 등 가상현실과 현실을 잇는 상호작용 방법들은 물리적 현실의 그것과 큰 차이가 있다. 본 논문에서는 기구학적 손 모델을 이용하여 사용자의 손의 위치를 실시간에 추적하고 제어함으로써 가상의 물체와 물리적으로 현실감있게 상호작용하는 가상 파지 시스템을 제안한다. 기존의 연구에서 사용되는 손 추적 방법은 가상 물체와의 중첩과 마찰력을 제대로 고려하지 않고 물리적 손과 가상의 손 모델 사이를 단방향으로 제어하여 사용자의 몰입 감을 크게 방해하므로, 본 논문에서는 다음과 같은 두 가지 해결 방법을 제안한다. 첫 번째 방법은 가상 손 모델과 가상 물체간의 접촉 반력을 계산하기 위하여 쿨롱의 마찰 모델을 이용한 마찰력 계산방법이고, 두번째 방법은 기구학적 손 모델을 추적하는 동시에 동역학적 특성을 고려한 프록시 손을 모델 하여 물리기반 시뮬레이션 엔진과의 상호작용이 쌍방향 제어가 가능하도록 하였다. 이러한 프록시 손 모델은 사용자에게 보다 실감 있는 시각적인 피드백을 제공할 뿐만 아니라 가상의 물체와 손 모델 사이에 동역학을 좀 더 강건하게 시뮬레이션한다. 또한 본 논문에서는 효과적인 상호작용을 위해 다음과 같은 두 가지 파지제어법을 제안한다. 하나는 손 모델이 가상 물체과 중첩되지 않도록 마찰력이 적용된 물리 기반 파지법이며, 다른 하나는 제안하는 시스템이 동역학적 특성을 고려할 뿐만 아니라 사용자의 의도를 파악하여 쥐는 제스처를 취할 때 가상 물체를 파지하는 것을 돕는 보조형 파지법이다. 두 가지 파지법은 사용자 연구와 다양한 벤치마킹을 통해 기존의 집기 기반 파지법과 비교하고 계량화하였다. 수행된 실험의 결과 제안된 방법중 보조형 파지법이 가상 환경에 대한 사전 지식이 없는 사용자가 객체 조작을 수행할 때 가장 빠르고 효과적인 방법을 제공하는 것으로 나타났으며, 물리 기반 파지법도 또한 가상 세계에서 현실감 있는 상호작용을 돕는 것으로 입증되었다.;Interaction is the key to a decent real world Virtual Reality (VR) experience but there exists a significant gap between the two domains as major interaction methods in VR include voice, gaze, tools and gestures instead of using the virtual hand as a counterpart of a real hand. In this dissertation, an interactive virtual grasping system is proposed, enabling physically realistic interaction between a user and virtual objects, using kinematic hand models whose motions are tracked and controlled in real-time by the user. Since hand tracking devices provide only one-way coupling between the user and kinematic hands resulting in penetrations and frictionless interaction, our method implements the contacts as Coulomb’s friction model and includes a dynamic proxy hand in the system which follows the kinematic virtual hand to provide a two-way control loop for the physics interactions. The introduced proxy hand not only provides visual feedback but also is used to simulate dynamics between the hand and virtual objects. We propose two grasping methods; physics-based grasp and assistive palmar grasp where the former ensures friction contact and avoid penetrations while the later makes system help the user in achieving a grasp by identifying user intention. We have implemented and evaluated each of these techniques with various benchmarking settings and conducted a user study to compare our methods against the existing pinch-based grasping mechanism. The experimental results show how our assistive grasp provides fast and effective solutions by performing better in unknown virtual environments for a naïve user and physics-based method helps to provide friction contacts resulting in physically real interactions in the virtual world. Moreover, survey questions show that users prefer assistive grasp in terms of its practicality and effectiveness. Our system, taking advantage of the graphics and physics engine of used game engine, allows us to interact with 3D objects in the virtual space in real-time with no visible latency. Moreover, to visually assist the user’s grasping we provide visual markers at the contact locations and rendered proxy hand as principle visual grasping hand, as it avoids penetrations as compared to the actual virtual tracking hand and provides system stability. We demonstrate how the use of these tools helps us to perform real-time grasping tasks in complicated virtual environments.