Heatmap Correction with Offset Learning by Graph Neural Network for Face Alignment

Abstract

Facial landmark detection has shown dramatically high performances thanks to the progress of deep learning networks. Especially many adopted heatmap-based methods which has excellent ability to explore local features. However, these approaches neglect inherent relations between landmarks showing weakness at detecting in highly occluded landmark points or face image with large pose. In this study, we propose a hybrid form regression network that leverage both advantages of heatmap and coordinate regression methods in the way of coarse-to-fine strategy. Proposed method adopts graph neural network as a refinement module to guide each point with most correlated neighbor nodes that we define by analyzing correlation using canonical correlation analysis (CCA). Refinement network learns to predict the offset of each landmark, used to compensate poorly detected coordinates roughly induced from heatmap regression. Our method showed significant refinement ability in challenging cases in WFLW, 300W benchmarks, which verifies the robustness and effectiveness.;딥러닝 네트워크의 발전 덕분과 함께 최근 얼굴 특징점 검출 높은 성능을 보여주었다. 특히 많은 사람들이 국부적 특징을 탐색하는 능력이 뛰어난 열지도 기반 회귀 방법을 채택했다. 그러나 이러한 접근 방식은 정면이 아닌 넓은 포즈의 얼굴 이미지나 얼굴의 일부분이 많이 가려진 이미지에서 감지하는데 약점을 보이는데, 이는 얼굴의 특징점 사이의 고유한 관계를 고려하여 학습되지 않고, 특징점 주변 일부의 영역에 집중하여 학습하는 경향 때문이다. 본 연구에서는 확률지도를 이용한 회귀의 장점과 좌표 간의 연결성을 고려한 회귀 방법을 모두 활용하는 하이브리드 형태의 네트워크를 제시한다. 백본 네트워크에서 도출한 확률지도로부터 추정한 초기 특징점을 정규 상관 분석을 통해 만들어진 인접 그래프를 사용한 그래프 컨볼루션 네트워크를 통해 정제 네트워크를 만든다. 정제 네트워크는 위상학적 유사성이 높은 점들 간의 관계를 활용하여 각 랜드마크의 오프셋을 학습하여 처음 추정한 좌표를 정제해주어 어려운 시험 케이스에 대해서도 더 정확한 결과가 도출 될 수 있도록 한다.