Muscle-based Real-time Facial Animation using Shell Elements and Force Decomposition

Abstract

In this dissertation, we present physics-based real-time facial animation generated by muscle deformations. Unlike previous muscle-based facial animation using three-dimensional finite elements, we use a two-dimensional shell element to avoid inefficient or undesired tessellations by the thin structure of facial muscles. Instead of a complex continuum shell model dealt with in traditional finite element analysis, we use a geometrically-derived shell model and its energy functions. To accomplish real-time performance, we also adopt modal warping for forwarding time integration of the governing equation. For the results of facial animation to be anatomically meaningful, our system is designed based on four layers of skin, the subcutaneous layer of flesh, muscles, and the skull with existing knowledge of anatomy. Skin and muscles are composed of shell elements and follow the dynamics of the shell. Subcutaneous fatty tissue is assumed as a uniform elastic body. In principle, facial tissue between the skin and muscle is composed of complex elastic bodies such as the dermis, subcutaneous fat, and fascia. However, we model the layer as a homogeneous deformable-body using a mass-spring system. The fixed part of facial muscles where the muscles originated from the skull is handled by static position constraint. As facial muscle movements are primarily contraction and relaxation, we control muscle to have stretch deformation using modal analysis. Skin deformation is caused by the force propagation from muscle through subcutaneous fatty tissue. We mimic this phenomenon by applying external force to skin mesh using mass-spring force triggered by muscle deformation. By restricting the region affected by propagated force depending on muscle position, only the region of interest for the skin could be affected by the muscle. For multiple muscles, to prevent the coupling effect between the region of interests, we decouple the system according to the external force type applied to the skin. We show a series of facial animations caused by selected major muscles that are relevant to expressive skin deformation. Results are affected by muscle-based deformation and indicate real-time performance. Our system has scalability for importing new types of muscles and skin mesh when their shapes or positions are changed. The system can be used in the field of computer animation and has applications to virtual avatars; it can also be used in the movie and game industries, and it is expected to expand to the medical industry with applications to virtual plastic surgery.;얼굴 애니메이션은 가상 아바타, 영화 또는 게임 산업을 포함한 컴퓨터 애니메이션 분야에서 활용될 수 있으며 가상 안면 수술 시뮬레이터와 같이 의료 산업 응용 분야로의 확장성을 기대할 수 있다. 본 논문에서는 근육 변형을 이용한 실시간 물리기반 얼굴 애니메이션을 제안한다. 3차원 유한 요소를 사용하는 이전 근육 기반 얼굴 애니메이션과 달리, 2차원 유한 요소인 쉘 요소를 사용하여 얇은 막 구조를 지닌 안면 근육을 해석하여 비효율적이고 부적절한 형태의 메쉬가 안면 근육을 구성하는 것을 방지한다. 또한 시뮬레이션의 실시간 성능을 위해 전통적으로 유한 요소 해석에서 다루는 복잡한 쉘 모델 대신 기하학적으로 파생된 쉘 모델과 에너지 함수를 도입하고 모드 워핑을 이용하여 미분 방정식으로 주어진 지배 방정식을 해석한다. 해부학적으로 유의미한 얼굴 애니메이션 결과를 위해, 제안하는 시스템은 인체 해부학 지식을 기반으로 피부, 피하 층, 근육 그리고 두개골로 구성된 4개 층을 얼굴 모델로 설계한다. 피부와 근육은 쉘 요소로 구성되며 쉘 요소 해석에 따른 역학 방정식의 지배를 받는다. 표피, 진피, 피하 지방 및 근막과 같은 복잡한 탄성체로 구성된 피부와 근육 사이의 피하 지방 조직은 질량-스프링 시스템을 이용하여 균일한 탄성체로 가정한다. 마지막으로 두개골과 연결된 근육 말단 부분은 정적 위치 제약 조건에 의해 고정된다. 안면 근육은 주로 수축과 이완의 변형을 이루기 때문에 본 시스템은 안면 근육의 지배 방정식에 대한 모드 해석 결과를 이용하여 근육이 인장력에 의한 변형만 이루도록 제어한다. 또한 근육의 변형으로 인해 파생된 힘이 피하 지방 조직을 움직이고 이를 통해 힘이 피부에 전달되어 피부가 변형을 이루게 된다. 제안된 시스템에서는 근육과 피부 노드를 연결하는 스프링의 질량-스프링 힘을 통해 피부 메쉬에 외력을 가함으로써 근육에 의한 피부 변형을 모방한다. 한편 근육이 갖는 피부와의 위치에 따라 근육으로부터 전달된 힘의 영향을 받는 피부 영역인 관심 영역을 정의함으로써, 적절한 부위의 피부가 해당 근육의 움직임에 따라 변형될 수 있도록 한다. 제안된 시스템에서 관심 영역 외의 피부 메쉬 노드는 정적 위치 제약 조건으로 통제되기 때문에, 다중 근육의 외력이 피부에 가해질 경우, 해당 근육의 관심 영역이 다른 근육에 의해 제약될 수 있다. 이를 방지하기 위해 피부에 가해지는 외력에 따라 지배 방정식을 독립적으로 분리하여 피부와 여러 근육이 상호작용할 수 있도록 시스템을 설계하였다. 본 연구는 역동적인 피부 변형과 연관 있는 근육을 선별하여 이로 인해 변형되는 일련의 안면 근육 기반 실시간 얼굴 애니메이션 결과를 제시한다. 또한 제안된 시스템은 새로운 근육이나 피부 메쉬의 삽입과 삭제가 용이하여 다양한 메쉬에 대해 확장성을 갖는다.