Toward Autonomous Robotic Arrangement of Objects using Deep Image Manipulation

Abstract

이 논문에서 우리는 정렬되지 않은 장면에서 물체를 정렬된 장면으로 로봇이 스스로 정리할 수있는 프레임 워크를 제안했다. 이전 연구들에서는 로봇이 정리나 다른 작업을 수행하기 위해서는 사용자로부터 주어진 목표에 대한 정보나 또는 안내 계획을 제공되어져야 했다. 하지만, 이렇게 사용자가 목표 정보에 대해서 매번 제공을 하는 것은 번거롭기 때문에, 로봇이 스스로 목표를 생성함으로써 사용자가 조금 더 편하고 힘들지 않도록 하는 것이 우리 연구의 목표이다. 본 연구의 목표인 물체 정리를 달성하기 위해, 정렬되지 않은 장면과 정렬된 장면의 짝으로 이루어진 데이터 세트의 필요성이 있었다. 따라서, 단순히 여러 물체들이 놓인 기존의 데이터 세트로는 위의 목표를 달성하기에 부적절하여, 본 연구에서는 먼저, YCB 객체 모델 [1]로 구성된 사실적인 합성 데이터 세트를 구성하여 활용하였다. 이렇게 생성된 데이터 셋을 활용하여, 기존의 이미지 변환 모델을 활용하여 물체들이 정렬되도록 배치하였다. 이를 시뮬레이션에서 로봇이 정리할 수 있도록 모션 계획 알고리즘을 사용하여 목표를 달성함으로써 로봇이 자율적으로 목표를 세우고 물체 배치 작업을 성공적으로 수행할 수 있음을 보여주었다. ;In this dissertation, we propose a framework that enables robots to arrange objects in a chaotic scene autonomously. Previous research showed that robots need to be provided with a given goal or a guided plan from users to perform manipulation tasks, such as packing objects into boxes and carrying objects around complex obstacles. Without the provision of a goal in the form of a human command, a robot can generate an aligned scene by itself. To attain arranged scenes, we obtain semantic masks and translate object poses from an initial scene at a semantic level using the existing image-to-image translation model [1]. Our model also utilizes disentanglement and code swapping approaches [2] to reconstruct the RGB textures from the aligned semantic images. To obtain our goal, it is necessary to select a proper dataset; however, the pre-existing datasets are not appropriate for our object arrangement task. Thus, we construct a photorealistic synthetic dataset for the arrangement task, which consists of YCB object models [3]. After accomplishing the goal scenes, we enable the manipulator to organize objects using sample-based motion planning algorithms. We test and demonstrate that the robot can autonomously set goals and successfully carry out object arrangement tasks on the table.