An Intuitive Robot Trajectory Simulation Interface for Unstructured Environment using See-Through AR

Abstract

A collaborative robot was created as a result of recent developments in robotic technology. Its advantages of small size and easy to handle frequent re-programs, without the need for a robotic expert, are useful in small and medium sized enterprises (SMEs). However, there is a risk of collision with the robot, and to overcome this danger an interface system that enables the operator to safely, easily, and intuitively work with collaborative robots is needed. In this dissertation, we present an intuitive robot simulation interface using untethered see-through augmented reality (AR) to improve the human-robot interaction (HRI) of a non-expert user in an unstructured environment. The intuitive robot simulation also supports safe and effective robot programming. To achieve this, we propose a new concept of teaching robots: teaching by AR, which uses AR to teach the robot from the user’s demonstration through a virtual robot without contact with the real robot. We used offline robot programming using the AR approach and provided intuitive visual feedback to inform the validity of the user input in real-time in AR. Through AR head-mounted displays (ARHMD), we supported a user to see a view matching the virtual simulation interface on the user’s physical workspace, and we provided mapping of the work cell environment for collision-free path planning. Furthermore, we conducted a user study in which participants were asked to teach a robot a program using our simulation interface and RViz. The results of the study demonstrate that our interface is intuitive, time efficient, and helps the user to teach the robot.;최근 로봇 기술의 발전으로 등장한 협업 로봇은 크기가 작고 로봇 전문가 없이 로봇 프로그램을 자주 그리고 쉽게 프로그램 할 수 있다는 점에서 중소 기업에서 유용하다. 그러나 로봇이 사용자에 충돌할 위험이 있으며 이를 극복하기 위해서는 작업자가 안전하고 쉽고 직관적으로 협업 로봇으로 작업을 할 수 있는 인터페이스 시스템이 필요하다. 본 논문에서는 시스루 증강 현실 HMD 디바이스를 이용하여 비 구조화된 환경에서 전문가가 아닌 사용자의 인간-로봇 상호 작용을 개선하며 안전하고 효과적인 로봇 프로그래밍을 지원하는 직관적인 로봇 시뮬레이션 인터페이스를 제시한다. 이를 위해 본 논문에서는 로봇과 실제로 접촉하지 않고 증강현실에서 가상의 로봇으로 사용자가 로봇에게 시연하여 가르치는 증강 현실에 의한 로봇 교습이라는 새로운 개념을 제안한다. 제안한 시스템에서는 증강 현실을 활용한 로봇 프로그래밍을 사용하고 증강 현실에서 실시간으로 사용자 입력의 유효성을 알리는 직관적인 시각적 피드백을 제공한다. 증강 현실 HMD를 통해 사용자는 가상 시뮬레이션 인터페이스를 사용자의 실제 작업 공간에서 겹쳐 볼 수 있으며, 작업 공간의 환경 매핑을 제공받아 충돌이 없는 경로 계획을 할 수 있다. 실험을 통해 본 논문에서 제안한 로봇 프로그래밍을 위한 시뮬레이션 인터페이스가 기존의 시뮬레이션 인터페이스보다 직관적이며 사용하기 쉽고 효율적인 것을 보였다.