Accelerated Mapping and Illumination for a Point Set using Ray-Tracing GPUs

Abstract

3D point data is a primitive to capture the shape and depth information of objects or environments. 3D point clouds, composed of discrete points, provide essential geometric information for environmental analysis. They serve as data structures for representing geometric shapes and are utilized for the approximation of continuous surfaces, enabling detailed shape analysis and surface reconstruction. 3D point clouds are often generated with high resolutions using sensors such as RGB-D cameras or LiDAR (Light Detection and Ranging). In robotics simulations, virtual environments can be generated from real-world scans represented as point clouds. Particularly realistic outdoor simulations require large-scale point clouds. Accurately replicating sensor behavior in simulated environments is vital for achieving reliable perception in robotic systems. Applying global illumination to point data directly enables efficient, realistic sensory data generation for simulations. This technique creates lifelike visual data for camera-based sensing to improve object recognition in large-scale environments. In the process of a point set representing a smooth manifold surface, global illumination using ray tracing can be used to render a realistic scene with various effects of lighting. Thanks to the continuous demand for ray tracing and the development of graphics hardware, dedicated GPUs and a programmable pipeline for ray tracing have been introduced in recent years. In this dissertation, real-time global illumination rendering is studied for a point-set model using ray-tracing GPUs. We apply the moving least squares (MLS) method to approximate the point set to a smooth implicit surface and render it using global illumination by performing massive ray-intersection tests with the surface and generating shading effects at the intersection point. As a result, a complicated point-set scene consisting of more than 0.5M points can be generated in real-time. After sensing the environment, 3D point clouds are used for occupancy mapping to enable robots to model spatial environments accurately. Robots can effectively understand and navigate their surroundings based on occupancy maps. Therefore, accurate 3D occupancy maps generated in real-time are essential for robots to perform reliable tasks. Probabilistic volumetric mapping (PVM) represents a 3D environmental map for an autonomous robotic navigational task. A popular implementation such as OctoMap is widely used in the robotics community for such a purpose. The OctoMap relies on an octree to represent a PVM, and its main bottleneck lies in massive ray-shooting to determine the occupancy of the underlying volumetric voxel grids. In this dissertation, we propose an octree-based PVM, called OctoMap-RT, using a hybrid of off-the-shelf ray-tracing GPUs and CPUs to substantially improve CPU-based PVM. OctoMap-RT employs massively parallel ray-shooting using GPUs to generate occupied and free voxel grids and to update their occupancy states in parallel, and it exploits CPUs to restructure the PVM using the updated voxels. Our experiments using various large-scale real-world benchmarking environments with dense and high-resolution sensor measurements demonstrate that OctoMap-RT achieves performance that is several orders of magnitude faster than OctoMap. Moreover, OctoMap-RT constructs a map with higher accuracy, in terms of the number of occupancy grids, than the CPU-based PVM.;3차원 점 데이터는 공간 내의 객체 또는 환경의 형태와 깊이 정보를 포착하는 기본적인 데이터 구조이다. 3차원 점군(point cloud)은 불연속적인 점들의 모음으로써 환경을 분석하는데 있어 공간의 기하학적 정보를 제공하는 중요한 데이터이다. 이들은 기하학적 형태를 나타내는 데이터 구조로 사용되며 연속적인 표면의 근사에 사용되어 세부적인 형태 분석과 표면 재구성이 가능하다. 3D 점군은 대게 RGB-D 카메라나 LiDAR(Light Detection and Ranging)와 같은 센서를 사용하여 고해상도로 생성된다. 로봇 시뮬레이션에서 가상 환경은 실세계를 스캔하여 획득한 점군으로부터 생성될 수 있다. 특히 사실적인 실외환경 시뮬레이션에는 대규모 점군이 필요하다. 시뮬레이션된 환경에서 실제환경에서의 센서 동작을 정확하게 반영하는 것은 로봇 시스템에서 신뢰할 수 있는 인식(perception)을 수행하는 데 필수적이다. 광선 추적(ray tracing)을 사용한 전역 조명(Global Illumination)을 점 데이터에 직접적으로 적용하면 시뮬레이션을 위한 효율적이고 사실적인 센서 데이터를 생성할 수 있다. 전역 조명 기술은 카메라 기반 감지(camera-based sensing)를 위한 실제적인 시각적 이미지를 생성하여 대규모 환경에서의 객체 인식을 개선한다. 점집합을 매끄러운 매니폴드 표면으로 표현하고 전역 조명 기술을 적용하여 다양한 조명 효과를 계산함으로써 사실적인 장면을 렌더링할 수 있다. 광선 추적에 대한 지속적인 수요와 그래픽 하드웨어의 개발 덕분에 최근 몇 년 동안 전용 GPU와 광선 추적을 위한 프로그래밍 가능한 파이프라인이 도입되었다. 본 논문에서는 광선 추적법의 가속을 지원하는 GPU(ray-tracing GPU)와 렌더링 파이프라인을 사용하여 점집합 모델에 대한 실시간 전역 조명 렌더링을 수행하는 방법을 제시한다. 즉, 이동 최소 자승법(Moving Least Squares)을 적용하여 점집합을 부드러운 음함수 표면(implicit surface)으로 근사한 후, GPU 기반 광선 추적법을 이용하여 표면과의 광선 교차 검사를 수행하고 교차점에서 음영 처리 효과를 적용하여 전역 조명 렌더링을 수행한다. 그 결과 오십만개 이상의 점으로 구성된 복잡한 점집합 모델이 포함된 장면을 실시간에 생성한다. 로봇이 환경을 인지한 후, 3차원 점군을 통해 필요한 공간 정보를 점유 매핑(occupancy mapping)하고, 생성된 점유맵(occupancy map)을 기반으로 환경을 이해하고 분석하여 효율적으로 주변을 탐색하는 것이 요구된다. 따라서 실시간으로 정확하게 모델링된 3차원 점유맵은 로봇이 신뢰할 수 있는 작업을 수행하는 데 필수적이다. 확률적 볼륨 매핑(Probabilistic Volumetric Mapping)은 자율 로봇의 경로 탐색 작업을 위한 3차원 환경맵으로, 점유 확률을 나타내는 볼륨 복셀 그리드(volumetric voxel grid)를 사용하는 잘 알려진 환경 매핑 방법이다. 옥토맵(OctoMap)과 같은 대표적인 구현 방식은 로봇공학 커뮤니티에서 널리 사용된다. 옥토맵은 확률적 볼륨 매핑을 표현하기 위해 옥트리(octree)를 사용하며, 주된 병목 현상은 대규모 광선 슈팅(ray shooting)을 통해 볼륨 복셀 그리드의 점유 여부를 결정하는 과정에 있다. 본 논문에서는 옥토맵과 같은 현재의 CPU 기반 확률적 볼륨 매핑의 주요 병목 현상을 해결하고, 광선 추적 전용 GPU와 CPU를 혼합하여 CPU 기반 확률적 볼륨 매핑 성능을 획기적으로 개선한 옥토맵-RT(OctoMap-RT)라는 옥트리 기반 확률적 볼륨 매핑을 제안한다. 옥토맵-RT는 GPU를 활용해 대규모 병렬 광선 슈팅을 수행하여 점유 및 자유 복셀 그리드를 생성하고 그들의 점유 상태를 병렬로 갱신하며, CPU는 갱신된 복셀을 이용해 점유맵을 재구성하는 역할을 한다. 밀집된 고해상도의 3차원 점군을 사용한 다양한 대규모 실환경 벤치마크 실험에서 옥토맵-RT는 옥토맵보다 수십배 빠르게 지도를 구축하는 성능을 보였다. 또한, 옥토맵-RT는 점유 그리드 수 기준으로 기존 확률적 볼륨 매핑보다 더 높은 정확도로 지도를 구성한다.