Artistic Robotic Pen Drawing System using High-DoF Manipulators

Abstract

Since the Renaissance, artists have created artworks using novel techniques and machines, deviating from conventional methods. The robotic drawing system is one of such creative attempts. Since then, robots have been a means of creation, but with the recent development of artificial intelligence (AI), robots are also becoming the subject of creation. Robots and art raise many social and technological questions. In order to make a robot that draws pictures, two physical elements are needed: 'creation or observation' and 'drawing'. The field of computer graphics, which creates artwork by mimicking the human creation process, has been studied for a very long time. And to reproduce these works in a physical space using robots, it is necessary to solve robotics problems such as robot motion planning and control. In this dissertation, we propose an autonomous robotic system that creates pen art on canvas surfaces of various sizes and shapes. The proposed system includes the method of creating a painting work through the aforementioned 'creation or observation' and the robot motion planning and control for 'drawing'. Unlike ordinary digital art, which consists of discrete pixels, a drawing that needs to be mapped to a continuous robot motion must be replaced with a series of coordinate values. Vector graphics, consisting of points, curves, and polygons based on mathematical equations, correspond to these characteristics. The stroke-based rendering (SBR) method, one of the computer graphics fields studied to produce non-photorealistic paintings that mimic human drawings, is suitable for robotic drawing as it replaces images with painting in units of strokes. Furthermore, this paper introduces a layered depth painting method that analyzes the object and draws the picture in consideration of depth, similar to the process by which a person paints. On the contrary, we also introduce TSP art, an art form suitable for robots, which we believe is specialized in operating delicate movements effectively and accurately. This dissertation focuses on the features of robots. Robots are good at repeatedly moving pre-defined motions accurately and precisely. Therefore, we extend the robotic drawing problem to draw on a large, curved target surface without distortion. To this end, conformal mapping that maps the 2D drawing to 3D space while minimizing distortion is applied. We introduce a robust robotic curve rendering method to 'draw' on a non-planar surface. Considering the reachable range of the robot, the drawing is repositioned within the target surface, and the calculated drawing path is carried out with a continuous motion that its end-effector follows the given path. We use impedance control that can correct geometric errors that may result from inconsistencies between the virtual environment and the real environment. Finally, we propose a set cover algorithm to generate pen art on a wider target surface. The algorithm finds a discrete set of mobile platform poses that the robot covers the entire target surface. In addition, we propose a pen tool design and tool-change mechanism to perform fully-automated drawings with colors using dual-arm equipped with adaptive 3-finger grippers. We demonstrate that our robotic drawing system can create visually pleasing and complex pen art on various surfaces. The proposed system is the first robotic drawing system to draw pen art on large-scale, non-planar surfaces using multi-DoF robots. In this dissertation, we introduce the overall process for the robotic drawing system and propose methods to respond to each element. The technologies applied to this system are not limited to robot drawing but can also be applied to various robotic applications that require continuous contacts with a target surface, such as milling and sanding.;르네상스 이후 예술가들은 기존의 창작 방법에서 벗어나 새로운 기술과 기계를 접목하여 다양한 예술적 시도를 하였다. 로봇을 이용해 그림을 그리는 로보틱 드로잉 시스템(robotic drawing system)은 예술가들의 다양한 창의적인 시도 중 하나이다. 로봇은 인간의 창작 수단이 되기도 했지만 최근 인공지능(AI)의 발달으로 로봇은 창작의 주체가 되고 있기도 하다. 로봇과 예술은 많은 사회적인 그리고 기술적인 물음을 낳는다. 그림을 그리는 로봇을 만들기 위해서는 크게 두가지 요소가 필요한데, ‘창작 혹은 관찰’, 그리고 ‘그리기’가 그것이다. 그려낼 작품을 창작하거나 대상을 관찰하여 비사실적인(non-photorealistic) 그림 작품으로 구현하는 연구는 컴퓨터그래픽스 분야에서 매우 오랜 기간 진행되어 왔다. 그리고 이러한 작품을 로봇을 이용해 물리적인 공간에 그려내기 위해서는 로봇 동작 계획과 제어와 같은 로봇 공학적 문제 해결을 필요로 한다. 본 논문은 다자유도 로봇을 이용해 넓은 비평면에 펜 아트를 그려내는 로보틱 드로잉 시스템을 소개한다. 이를 구현하기 위한 그림 경로 생성, 그림 맵핑, 그리고 로봇 동작 계획 기술들을 제안한다. 제안하는 시스템은 앞서 언급한 ‘창작 혹은 관찰’을 통한 그림 작품을 만들어내는 방법과 ‘그리기’를 위한 로봇 동작 계획과 제어를 포함한다. 이산적인 픽셀들로 이루어진 일반적인 디지털 아트와 달리 로봇의 연속적인 동작으로 사상되기 위한 그림 작품은 일련의 좌표값들로 치환될 수 있어야 한다. 수학 방정식을 기반으로 하는 점, 직선, 곡선, 다각형들로 이루어진 벡터 이미지는 이와 같은 특성에 부합한다. 컴퓨터그래픽스 분야에서 사람이 그린것과 같은 비사실적인 그림을 생성하기 위해 연구된 분야중 하나인 획기반 렌더링(stroke-based rendering) 방법은 이미지를 획 단위로 이루어진 페인팅으로 치환하여 로보틱 드로잉에 적용하기 적합하다. 본 논문은 더나아가 사람이 그림을 그리는 과정과 유사하게, 대상을 분석하고 깊이감을 고려하여 그림을 그리는 레이어화된 깊이 페인팅(layered depth painting) 방법을 소개한다. 그리고 반대로, 효과적이고 정확하게 섬세한 움직임을 동작하는 것에 특화된 로봇에 적절한 예술 형태인 TSP art를 소개한다. 본 논문은 로봇의 특장점에 주목한다. 로봇은 기계산된 동작을 정확하고 정밀하게 반복적으로 움직이는 것에 능하다. 자유도가 높은 로봇은 더 복잡한 동작이 가능한 것 뿐만 아니라, 바퀴가 달린 모바일 로봇은 훨씬 넓은 작업 범위를 가진다. 그리퍼가 부착된 두팔 로봇을 이용하면 두 팔이 상호 협력하고 물체를 파지하여 더 다양한 작업을 할 수 있다. 본 논문은 이러한 다자유도 로봇을 이용하여 넓고 굵곡진 대상 평면에 그림을 왜곡없이 그려내는 문제를 해결한다. 이를 위해 2차원 그림을 3차원으로 왜곡을 최소화하며 사상하는 등각사상 방법을 적용한다. 앞선 계산과정과 가상환경과 실제환경의 불일치에서 올 수 있는 기하학적인 에러를 보정 하며 강건한 ‘드로잉’을 수행하기 위해 임피던스 제어를 적용한다. 마지막으로, 보다 넓은 대상 표면에 펜아트를 생성하기 위해 모바일 플랫폼이 대상 캔버스를 모두 포함할 수 있는 최소한의 모바일 플랫폼 포즈들을 찾는 알고리즘을 제안한다. 또한, 적응형 3-핑거 그리퍼를 탑재한 두팔 로봇을 이용하여 다채로운 색상의 펜아트를 자동적으로 그려내기 위해 그에 맞는 그림 도구를 고정하는 펜툴 디자인과 툴-체인지 메커니즘을 제안한다. 본 논문은 다양한 표면에 시각적으로 아름답고, 사람이 정확하게 그려내기에 복잡한 펜 아트를 생성하는 로보틱 드로잉 시스템을 제안한다. 제안하는 시스템은 다관절 로봇을 이용하여 대규모의 비평면에 그림을 그려낸다. 본 논문을 통해 로봇이 그림을 그리기 위한 그림 경로 생성 기술, 그림 맵핑 기술, 로봇 동작 계획 기술, 그리고 두 팔 로봇을 위한 드로잉 툴-체인지 메커니즘을 제안한다. 로보틱 드로잉 시스템에 필요한 연구 기술들을 소개하고 다양한 연구 방향성을 제시한다. 나아가 본 시스템에 적용된 기술들은 비단 로봇 드로잉에 그치는 것이 아니라 밀링(milling), 샌딩(sanding)과 같은 대상 표면과의 연속적인 접촉을 필요로 하는 다양한 로보틱 어플리케이션에 적용될 수 있을 것으로 기대된다.