High-Resolution 3D Painting in Virtual Reality with Volumetric Brush Models

Abstract

최근 들어 가상현실(VR) 기술이 발전함에 따라 2차원 디지털 페인팅이 3차원 공간으로 확장되고 있다. VR기반의 3차원 페인팅 시스템들이 잇따라 등장하면서, 아티 스트들이 점차 VR 페인팅을 하나의 예술 장르로 받아들이고 있는 추세이다. 그러나 현재의 VR 페인팅 시스템은 모두 표면기반 페인팅 시스템으로, 사용자가 3차원 공간 에 그린 경로를 따라 3차원 볼륨이 아닌 2차원 평면 기하만을 생성한다. 표면기반 페 인팅 시스템에서는 그려진 스트로크들은 서로 합치기가 힘들며, 사용자가 실제 페인 팅을 하듯이 색상을 칠하거나, 재색칠 하거나, 색상을 섞거나, 혹은 불투명한 색상을 칠하는 것이 매우 어렵다. 뿐만 아니라 3차원 디지털 아트라는 거시적인 관점에서도 이 문제를 조명해보자면, 오랫동안 다양한 종류의 3차원 저작 도구들이 연구되어 왔 음에도 불구하고 3차원 공간 자체에 디지털 페인팅을 할 수 있는 프로그램은 부재한 상황이다. 물론 기존의 3차원 저작 도구를 이용하면 복셀 도트 디자인, 복잡한 3차원 모델 디자인 등과 같은 특정한 스타일의 3차원 디지털 아트 작품을 만들 수 있다. 특 히 3차원 모델링 분야에서, 사용자가 저작 도구를 이용하여 정교하고 사실적인 3차원 아트 작품도 만드는 것도 가능하다. 하지만 기존 3차원 저작 도구들은 여러 단계의 워크플로우를 거치는 전문적인 기술을 요구하거나, 팀 단위의 저작 활동을 필요로 하 거나, 혹은 모양, 표현, 규모, 사용자 인터페이스 측면에서의 한계점 때문에 3차원 디 지털 아트의 확장성을 떨어뜨린다. 본 학위 논문에서는 새로운 3차원 디지털 아트의 한 장르로써, 2차원 디지털 페인팅을 3차원 디지털 페인팅으로 확장하는 가상현실 기반의 고해상도 볼륨 페인팅 시스 템을 제안한다. 제안하는 시스템은 동적 팔진 트리 기반의 페인팅 및 렌더링 시스템 으로, 각 프로세서의 하드웨어적 특성을 반영하여 CPU 기반 팔진 트리는 팔진 트리 모델링을, GPU 기반 팔진 트리에서는 볼륨 렌더링을 위해 사용한다. 입력한 스트로크 에 대해 CPU 상에서 팔진 트리는 동적으로 노드를 생성/삭제하며, CPU 상 팔진 트 리 구조의 변화를 GPU 상 팔진 트리 구조에 점진적으로 업데이트 한다. GPU 상 팔 진 트리에서 광선투사 시 상수시간의 이웃 노드 접근을 보장하기위해, 형식적으로 간 결하면서도 효율적으로 메모리를 사용하는 3-이웃 연결성을 새롭게 제시한다. 나아 가 GPU 상에서의 3-이웃 계산량을 줄일 수 있는 컬링 마스크를 CPU상에서 계산하 여 GPU쪽으로 업로드하는 기법에 대해서도 기술한다. 이 과정에서 렌더링 프레임 률 과 저 지연 업데이트를 절충하는 업데이트 성능을 실험적으로 검증하며, 업데이트가 지연될 시 일어날 수 있는 잘못된 시각적 피드백을 줄이는 기법을 제시한다. 렌더링 측면에서는, 고해상도 팔진 트리에서 광선 투사시 발생하는 수치 오차 문제를 해결하 기 위해 셀 국부 좌표계 기법을 제시하였다. 또한 광선 투사 시 수치 오차가 전파되 는 과정을 분석하여 제시한 기법이 이론적인 오차범위에서 정밀함을 보였으며, 실험 적으로도 이를 입증하였다. 추가적으로 렌더링 속도를 가속화하기 위하여 CPU기반의 사진 트리/팔진 트리의 보간을 GPU기반의 보간으로 확장하고, 사진 트리 기반의 포 비티드 렌더링(Foveated rendering)기법을 기술하였다. 또한 본 논문에서는 3차원 디지털 페인팅 측면에서, 많은 복셀을 동시에 다루는 3차원 페인트 브러시 모델을 제안한다. 우선, 2차원 디지털 페인팅에서 주로 사용되는 칠하기, 지우기, 재색칠, 색 섞기, 블러, 스머지 등과 같은 2차원 브러시 모델을 고해 상도 팔진트리에서 사용할 수 있는 브러시 모델로 재구성하였다. 두 번째로, 3차원 디 지털 페인팅에서 발생하는 고유한 문제들을 다루는 볼륨 특이적 브러시 모델을 제안 하였다. 3차원 볼륨 페인팅에서 자주 일어나는 작업 중 하나인 생성된 복셀의 해상 도를 조절하는 반복작업을 줄이기 위해, 페인팅 디테일을 조정하면서도 메모리 관리 를 할 수 있도록 돕는 복셀 해상도 조절 도구들을 모델링한다. 복셀 해상도를 증가시키는 모델로는, 색상과 복셀 해상도의 확산을 기반으로 하는 복셀 멜트 브러시를 모 델링한다. 복셀 멜트는 페인팅의 디테일을 유지하면서도, 급격한 복셀 해상도 변화를 완만하게 한다. 또한, 사용자가 복잡한 공학지식이 없어도 사용할 수 있는 룸, 복셀 모자이크, 등위값 기반 복셀 머지와 같은 복셀 해상도를 낮추는 필터들을 모델링한다. 마지막으로, 서피스 기반의 페인팅 엔진과 볼륨 기반의 페인팅 엔진 결합을 처음으로 시도하여, 볼륨 페인팅에서의 깊이 감각 문제를 해결하고 불안정한 입력에 대해 직선/ 곡선을 그릴 수 있도록 하는 하이브리드 브러시 모델들을 제안한다.;Nowadays 2D digital painting is in the transition to 3D with virtual reality. Virtual reality (VR)based 3D painting applications have recently surged and are now widely accepted as a new art form by artists. However, state-of-the-art VR painting systems are all surface painting systems that emit 2D surface geometries as users make brush strokes. A user has difficulty with coloring, recoloring, mixing the color, or painting semi-transparent color, while these are natural activities in the real painting. In a broader perspective in 3D digital art, various 3D art tools have been researched over decades, but 3D art tools do not focus on such painting aspects and cannot fully support diverse styles for individuals. Meanwhile, modern 3D art tools allow users to create various 3D digital art, from voxel dot designs to sophisticated 3D models. From an artistic point of view, remarkably sophisticated art in 3D is made technically possible. However, established 3D digital art tools require professional skills with several steps in the workflow and a large team of high experts, or limit the free expression due to shape representation, scale, or interfaces. In this dissertation, as a new medium for 3D painting, a high-resolution volumetric painting system in VR is introduced to extend the 2D pixel canvas to a 3D voxel canvas. We develop a dynamic octree-based painting and rendering system using both CPU and GPU to take advantage of the characteristics of both processors—CPU for octree modeling and GPU for volume rendering. On the CPU-side, we dynamically adjust an octree and incrementally update the octree to a GPU. To allow constant neighbor access time in ray casting, our octree uses novel 3-neighbor connectivity for format simplicity and efficient storage. We further reduce the GPU-side 3-neighbor computations by precomputing a culling mask in a CPU and uploading it to a GPU. To verify the performance of our update strategy, we conduct experiments for compromising low latency and the high frame rates of the rendering. We also analyze the problem of our update strategy and suggest methods to reduce artifacts in immediate visual feedback. In rendering, we introduce a cell-local coordinate system as a solution for the numerical error problem in ray casting through high-resolution octree. We analyze the numerical error propagation with the cell-local coordinate system in ray casting, present a theoretical error bound, and prove our theory by experiments. To accelerate rendering, we revise the CPU-based quadtree/octree interpolation for the GPU and design foveated rendering based on a quadtree. We also address the problem of generalizing 2D brushes that manipulate a large number of pixels to 3D brushes that manipulate a large number of voxels in the aspect of a 3D painting. Toward this goal, we first generalize 2D brush tools commonly found in 2D digital painting system to 3D, including voxel blur, voxel smudge, and voxel dodge/burn, working for high-resolution octrees. We also propose volumetric brush tools designed to solve the problems specific in volumetric painting. For example, voxel resolution control tools are introduced to adjust painting details and manage memory consumption while reducing repetitive painting tasks. “Voxel melt” refines voxels or smooths out resolution variations while retaining the painting details using resolution diffusion. Easy-to-use voxel merge filters, such as room, voxel mosaic, and voxel merging based on iso-values, save memory by coarsening invisible or unnoticed voxels. Finally, we propose hybrid brush models, by combining surface and volumetric paintings to address the problems of depth perception and stoke neatening in volumetric painting.