Facial Geometry Synthesis Using Locally Weighted Autoencoder

Abstract

Various methods have been studied to develop three-dimensional(3D) geometric models to generate human faces in three dimensions. With the advent of the generative adversarial networks (GAN), attention to the generation model is increasing, and related research using deep learning is being actively progressed. Face generation can be utilized to create virtual avatars and virtual human content that has recently emerged. In this dissertation, we proposed a three-dimensional face generative model with local weights to increase the model’s variations and expressiveness. Previous studies on face generative models have attempted to create a variety of faces by using entire large faces. However, dividing the face into several parts with semantic features can improve the model’s representation ability and addresses the limitations of insufficient datasets. Unlike previous studies that required learning of the entire face mesh, and where part manipulation is impossible, the proposed model allows partial manipulation of the face while still learning the whole face mesh. For this purpose, we address the identification of an effective way to extract local facial features from the entire data and explore a way to enable a holistic generation by learning local features. By factorizing the latent vector of the whole face, latent vectors from the subspace can be used to indicate different parts of the face. In addition, local weights generated by non-negative matrix factorization (NMF) are applied to the factorized latent space so that the decomposed part space is more semantically meaningful. We experiment with the proposed model and observe that effective facial part manipulation is possible, and the model’s expressiveness is improved. In addition, several ablation tests have shown that the local weights proposed in this study produce meaningful results. ;사람의 얼굴을 3차원에서 표현하고 다양한 얼굴상을 만들어내려는 얼굴 생성 모델 연구가 진행되어왔다. 특히 적대적 생성 신경망 (Generative Adversarial Networks)의 등장으로 생성 모델에 대한 관심은 더욱 높아지고 있으며 딥러닝을 활용한 연구도 활발히 진행되고 있다. 얼굴 생성은 가상 아바타 및 가상 인물 콘텐츠 생성에 활용될 수 있다. 얼굴 생성에 관련한 기존 연구들은 얼굴 전체를 활용하여 다양한 얼굴을 만들려는 시도이다. 그러나 얼굴을 의미론적 특징을 가진 여러 개의 부분으로 나눠 생성하는 것이 모델의 표현 능력을 보다 향상시키고 부족한 얼굴 데이터 셋의 한계를 해결할 수 있다. 본 학위 논문에서는 국소적 가중치를 적용한 3차원 얼굴 생성 모델을 제안한다. 전체 얼굴 메쉬를 학습하여 부분적 조작이 불가능한 기존 연구들과는 달리 제안하는 모델은 전체 얼굴 메쉬를 학습하면서도 얼굴의 부분적 조작이 가능하다. 이는 데이터가 학습된 기저 공간을 여러 개의 부분 공간으로 분해함으로써 부분 공간에 해당하는 기저 벡터를 선형적으로 변형함으로써 가능하다. 또한, 비음 행렬 분해 (Non-negative matrix factorization) 알고리즘으로 생성한 국소적 가중치를 기저 공간에 적용하여 분해된 부분 공간이 좀 더 의미 있는 부분적 얼굴 표현을 가질 수 있도록 한다. 제안하는 모델을 구현하고 실험하여 효과적인 얼굴 부분 조작이 가능함을 확인하였으며 모델의 생성 능력 또한 향상하였음을 보였다. 또한, 비교 실험을 통해 본 연구에서 제안한 국소적 가중치를 적용한 기저 공간 분해가 의미 있는 결과를 생성함을 확인할 수 있었다.