Versatile Encountered-type Haptics for Immersive VR Environments Using Collaborative Robot

Abstract

Due to the surging interest in immersive virtual reality (VR), various types of haptic systems have been proposed and researched. Among the diverse form factors, the encountered-type haptic system provides free-to-touch and move-and-collide haptic sensation to a user while allowing natural interaction. According to the characteristics of the system that do not maintain contact with the user, the haptic manipulator’s reachability with respect to the user’s workspace needs to be considered for encountered-type haptic rendering. In addition, since the encountered-type haptic system allows a user to interact with virtual objects with one’s bare hand, the system needs a haptic rendering algorithm that provides both kinesthetic and tactile feedback. In this dissertation, an encountered-type haptic system that guarantees free and natural interaction while increasing the immersion to VR is introduced. To realize the research objective, a versatile haptic rendering method is proposed for representing various haptic forces and textures, active and passive haptic feedbacks, and haptic feedback for static and dynamic virtual objects. To provide encountered-type haptic feedback that renders various physical properties, a seven degrees of freedom (DoF) collaborative robot is used as a haptic manipulator, and a per-plane reachability map is proposed to check the reachability of a haptic manipulator. To enrich a VR experience by providing tactile feedback, a roughness synthesizing method for an encountered-type haptic display is proposed. For the robust haptic rendering, we also propose a contact prediction method to directly generate a haptic response by inferring the manipulator trajectory from the observation of human hand gestures. Firstly, the encountered-type haptic system using a manipulator of seven-DoF is introduced to haptically and visually simulate an indoor VR environment with static and dynamic virtual objects such as vertical walls and revolving doors. In runtime, our system tracks user hand motion, and the robotic manipulator plans a trajectory for the end-effector with a rigid rectangular board attached to make contact with the hand to deliver a sense of touch as long as the perceived hand contact force is substantial. The force feedback is generated in a passive sense for static objects by holding the position of the rigid board corresponding to a vertical wall. For the dynamic objects, the force feedback is generated in an active sense based on impedance control. In order to address the issue of limited workspace, we also propose a new reachability map, called per-plane reachability map, that is optimized to answer whether passive haptic feedback can be generated by a manipulator when the user touches a vertical wall at a given orientation. We successfully demonstrate our system to provide an illusion to the user in a virtual environment with a touch sensation to the surrounding environment. To provide cutaneous feedback along with kinesthetic feedback, inducing haptic-texture sensation without complicated tactile actuators is challenging for encountered-type haptic rendering. We propose a novel texture synthesizing method for an encountered-type haptic display using the spatial and temporal encoding of roughness, which provides both active and passive touch sensation requiring no complicated tactile actuation. Focused on macro-scale roughness perception, we geometrically model the textured surface with a grid of hemiellipsoidal bumps, which can provide a variety of perceived roughness as the user explores the surface with one’s bare hand. Our texture synthesis method is based on two important hypotheses. First, we assume that perceptual roughness can be spatially encoded along the radial direction of a textured surface with hemiellipsoidal bumps. Second, perceptual roughness temporally varies with the relative velocity of a scanning human hand with respect to the surface. To validate these hypotheses on our spatiotemporal encoding method, we performed psychophysical user tests and verified the main effects of spatiotemporal encoding of a textured model on the user’s roughness perception. Our empirical experiments imply that the users perceive a rougher texture as the surface orientation or the relative hand motion increases. Based on these findings, we show that our visuo-haptic system can synthesize an appropriate level of roughness corresponding to diverse visual textures by suitably choosing encoding values. To generate a robust haptic response instead of relying on a deterministic contact prediction algorithm in VR, an end-to-end haptic response generation method is required. Since the haptic rendering system highly depends on the deterministic contact prediction between the virtual object and the user’s hand, the failure of the contact prediction in VR leads to the failure of the entire haptic rendering system. We propose a learning from demonstrations method to predict the contact configuration solely by observing the human hand motion and no longer dependent on the conventional contact prediction approach, which uses ray shooting and projection in a VR environment. To generate the training data, which consists of human-robot interactions, we integrate three independent systems: a robot simulator, a VR environment, and a real-world tracking system. Then, we record the joint trajectories of the haptic manipulator simulated by the robot simulator and the cartesian trajectories of human fingertips and the center of the palm. The training data is represented within a basis function space and encoded as a probabilistic representation by learning from demonstrations. Using this probabilistic distribution as a prior, the system observes the partial trajectory of user hand motion and performs Bayesian filtering to infer the next hand motion and generate robot response. We successfully demonstrate the end-to-end encountered-type haptic response generation for VR users by referring only to the user’s hand gesture. The result shows that the hand motion of touching a virtual object is enough to infer the haptic response spatially and temporally.;몰입감 있는 가상현실(VR)에 대한 관심이 높아짐에 따라 다양한 유형의 햅틱 시스템이 제안 및 연구되고 있다. 다양한 햅틱 인터페이스의 폼팩터 중 조우형(Encountered-type) 햅틱 시스템은 사용자와의 불필요한 접촉을 유지하지 않고, 자유로운 터치와 움직임에 따른 충돌 역감을 제공하여 가상현실에서의 자연스러운 상호작용을 보장한다. 조우형 햅틱 시스템의 특성에 따라, 사용자의 작업 공간에 대한 햅틱 매니퓰레이터의 도달가능성(reachability)이 고려되어야 하며, 맨손으로 조우형 햅틱 피드백을 느끼는 사용자를 위해 운동 감각(Kinesthetic feedback)과 촉각(Tactile feedback)을 동시에 제공하는 햅틱 렌더링 알고리즘이 필요하다. 본 논문에서는 자유로운 상호작용을 보장하면서도 가상현실로의 몰입감을 증대시키는 조우형 햅틱 시스템을 소개한다. 연구 목적을 이루기 위해, 다양한 역감 및 질감, 능동적 및 수동적 햅틱 피드백, 정적 및 동적 가상 객체에 대한 햅틱 피드백을 제공하기위한 다목적 랜더링을 제안한다. 다양한 물리적 특성을 나타내는 조우형 햅틱 피드백을 제공하기 위해 7 자유도의 협동 로봇을 햅틱 햅틱 매니퓰레이터로 사용하였으며, 햅틱 매니퓰레이터의 도달가능성을 확인하기 위해 평면별 도달가능성 맵을 제안하였다. 또한, 촉감을 제공함으로써 풍부한 가상현실 경험을 제공하기 위해 조우형 햅틱 디스플레이를 위한 거칠기 합성 방법을 제안하였으며, 강경한 햅틱 랜더링을 위해 사용자의 손 움직임을 관찰하여 접촉 예상 지점을 추론하는 방법을 제안한다. 첫째로, 본 논문에서는 7 자유도의 협업 로봇을 햅틱 디바이스로 사용하여 수직인 벽과 회전하는 문 등의 정적 및 동적 가상 객체로 구성된 실내 VR 환경을 사용자에게 시각적, 촉각적으로 제공하기 위한 조우형 햅틱 시스템을 제안한다. 본 시스템은 사용자의 실시간 손 추적 데이터에 기반하여 직사각형의 단단한 보드가 부착된 로봇 말단의 궤적을 계획함으로써 사용자에게 가상 물체와의 접촉에 따른 역감을 전달한다. 정적 가상 물체의 경우, 사용자와 햅틱 디바이스의 접촉이 유지되는 동안 햅틱 디바이스가 가상 물체 표면에 해당되는 상태를 유지함으로써 역감을 전달한다. 동적 가상 물체의 경우 임피던스 기반으로 햅틱 디바이스를 제어하여 가상 물체를 이동시키는 역감을 전달한다. 또한, 제한된 작업 공간에 따른 문제를 다루기 위해 햅틱 매니퓰레이터의 평면 별 도달가능성 맵을 계산하여 사용자가 만지려고 하는 가상 객체의 각도에 따라 햅틱 피드백의 제공 가능성을 실시간으로 확인하는 방법을 제안한다. 새롭게 제안한 최적화된 평면 별 도달가능성 맵을 사용한 본 시스템은, 사용자 평가 실험을 통해 가상현실 참여자에게 몰입감 있는 가상현실 체험을 제공함을 확인하였다. 복잡한 촉각 제공 장치(tactile actuator)를 추가하지 않고 조우형 햅틱 랜더링을 통해 사용자에게 표면 질감 등의 촉감을 제공하는 것은 어려운 문제이다. 본 논문에서는 조우형 햅틱 디스플레이를 위한 새로운 질감 합성 방법으로 시공간적 거칠기 인코딩을 제안한다. 제안하는 방법은 사용자에게 능동적 터치 감각과 수동적 촉감을 모두 제공하며, 추가적인 촉각 제공장치를 필요로 하지 않는다. 본 연구에서는 거시적 거칠기 인식에 초점을 맞추어, 사용자가 맨손으로 표면을 탐색할 때, 표면을 만지는 방향과 속도에 따라 다양한 거칠기를 느낄 수 있도록 반 타원구 돌기를 이용하여 물체 표면을 기하학적으로 모델링한다. 제안하는 질감 합성 방법은 두 가지 중요한 가설을 기반으로 한다. 첫째, 사람이 인식하는 거칠기는 반 타원형 돌기로 구성된 표면의 방사 방향을 따라 공간적으로 인코딩 될 수 있다. 둘째, 사람이 인식하는 거칠기는 사람 손이 표면을 쓰다듬는 속도에 따라 다르다. 본 연구에서는 시공간적 거칠기 인코딩 방법에 대한 두 가설을 검증하기 위해 심리물리학적 사용자 평가 실험을 수행하였고, 질감 모델의 시공간적 거칠기 인코딩 방법이 사용자의 거칠기 인식에 미치는 주요 효과를 확인하였다. 또한, 본 연구의 경험적 실험을 통해, 사용자가 거칠기를 인코딩한 표면 물체를 쓰다듬는 방향과 각도가 증가할 수록 질감을 더 거칠게 인식한다는 것을 확인하였다. 사용자 평가 결과를 바탕으로, 거칠기 인코딩 인자를 적절하게 선택하여 다양한 시각적 질감에 해당하는 적절한 수준의 거칠기를 합성할 수 있음을 보였다. 가상현실에서의 결정론적 접촉 예측 알고리즘에 의존하지 않고 강경한 햅틱 반응을 생성하기 위해서는 종단간 햅틱 반응을 생성 방법이 필요하다. 햅틱 랜더링 시스템은 가상 객체와 사용자 손 사이의 결정론적 접촉 예측 방법에 크게 의존하기 때문에 가상현실에서의 접촉 예측의 실패는 전체 햅틱 랜더링 시스템의 실패로 이어진다. 본 논문에서는 광선 슈팅과 투사를 이용하여 접촉을 예측하는 기존 방법에 의존하지 않고, 사람 손의 움직임만을 관찰하여 접촉을 예측하는 모방학습 방법을 제안한다. 먼저, 훈련 데이터(training data)로 사용되는 인간-로봇 상호작용 시범 데이터를 생성하기 위해 로봇 시뮬레이터, 가상현실 환경, 실제 환경의 추적 시스템을 통합하여 훈련 데이터를 얻기 위한 환경을 구성하였다. 이후, 시뮬레이션을 통해 움직이는 매니퓰레이터의 관절 경로와 가상 물체와 상호작용하는 사람의 손가락 끝 점 및 손바닥의 중앙 지점의 경로를 기록하였다. 훈련 데이터는 모방학습을 통해 기저 함수 공간에서 확률 분포로 표현된다. 생성된 확률 분포를 사전분포로 사용하여 시스템 실행 시간에 관측한 사용자의 손 움직임에 따라 다음 사용자 손 움직임을 추론하고 로봇 반응을 생성하는 베이지안 필터링을 수행한다. 본 논문에서는 가상현실 참여자의 손 움직임만을 고려하여 종단간 햅틱 반응을 성공적으로 생성하는 것을 보였다. 본 연구의 결과를 통해 가상 물체를 만지기 위한 손의 동작을 통해 시공간적으로 적절한 햅틱 반을 추론할 수 있음을 확인하였다.