부위별 특징을 반영한 사실적인 Kinect 기반 3차원 얼굴 모델 생성

Abstract

Since Kinect of Microsoft has been used for research, 3D facial reconstruction is tried in quite many research as well recently. Many algorithms were suggested to reconstruct plausible 3D face model, and to get over its limits such low resolution and noise. They require complicated algorithm and calculations, and it’s hard to approach. Besides, the results are not plausible as the details of facial characteristics are not described. For this reason, we propose a method to produce realistic 3D face models by applying each facial characteristics to face model using only Kinect data, without using any pre-defined reference model for morphing. We corrected depth data of user’s face considering morphological features of each facial regions to improve the result, and see if this method is possible to reflect user’s face properly or not if it’s advanced more. First, we initialize a 2D depth map of the face with the successive depth images and performed smoothing of it. By performing depth correcting of specific regions on face such as eyes, mouth, and philtrum based on their morphological characteristics, we modify the map for realistic modeling of 3D face model. Lastly, we transform the coordinates of depth map into 3D coordinate system to create polygon mesh. We complete creating 3D facial model by texturing. To validate our approach, we compare our model to one produced by KinectFusion, the application of Microsoft, and let various users to make pair of picture of the user and the model of this research and KinectFusion as a test. We analyze the result of the tests and assessments from them for performance evaluation and confirm the potential of this algorithm to be improved as one of the simple ways to produce detailed facial model using Kinect.;최근 마이크로소프트(Microsoft)사의 키넥트(Kinect)[1]가 연구 목적으로 사용되면서 이기기를 이용한 3차원 얼굴 복원 또한 시도되고 있다. 낮은 해상도와 노이즈 등, 키넥트의 한계를 극복하기 위해 얼굴을 여러 번 스캐닝하거나 표준 얼굴 모델을 활용하는 등, 여러 가지 방법들이 제안되어 왔다. 그러나 해당 작업을 위해서는 복잡한 알고리즘과 계산이 필요하기 때문에 접근하기가 쉽지 않다. 본 연구에서는 키넥트 영상으로부터 사용자 얼굴을 복원해 사실적인 3차원 얼굴 모델로 생성하는 알고리즘을 제안하여 그 가능성을 확인한다. 얼굴을 구성하는 각 부위들의 형태학적인 특징을 고려해 부위별 깊이 정보 보정을 수행한다. 이를 통해 깊이 정보를 향상시킨 복원 결과를 얻을 수 있다. 먼저 키넥트를 이용해 취득한 연속적인 N장의 깊이 영상으로부터 깊이 정보를 획득한다. 이로부터 Haar 특징점 추출 기법을 이용해 얼굴 영역을 추출한 후, 양방향 필터(Bilateral filter)를 이용해 얼굴 전체를 스무딩 시킨다. 다음으로 얼굴을 구성하는 부위들 중 눈, 입, 인중, 총 3가지의 부위들의 형태학적인 특성을 고려하여 각 부위별로 깊이 보정을 통해 얼굴 모델의 기하학 정보를 재정비하는 작업을 수행한다. 그 결과, 장 시간의 사용자 얼굴 스캐닝이 없이 10장 이내의 연속된 프레임 정보만으로 간단하게 사실적인 얼굴 모델을 생성할 수 있다. 마지막으로, 일반인을 대상으로 한 성능 테스트를 통해 기존 얼굴 모델 생성 방법 결과와 제안된 방법을 비교하였다. 그 결과, 본 연구의 결과가 사용자의 얼굴을 기존 방법보다 사실적이고 정밀하게 반영한 것을 확인하였다.