Robust rPPG Detection System Using Temporal Adaptive Attention Network

Abstract

심장 박동은 인체의 상태를 반영하는 핵심 생체 신호로 심혈관 질환, 피로도 등 다양한 건강 상태를 제공하는 중요한 지표이다. 따라서 심장 박동을 정밀하게 모니터링 하는 것은 질병의 조기 발견과 건강 관리에 매우 중요하다. Remote Photoplethysmography (rPPG) 기술은 카메라 영상을 기반으로 피부 아래 혈관을 통해 흐르는 혈류량 변화를 감지하여 심박수, 산소포화도 등의 생체 신호를 비접촉 방식으로 추정하는 기술이다. rPPG 신호는 얼굴 전체에서 균일한 정확도로 측정되지 않고 볼이나 이마와 같은 특정 영역에서 강하게 관측되므로 Region of Interest (ROI) 영역을 정확히 선택하는 것이 심박 신호 추정 성능 확보에 필수적이다. 기존 연구들은 ROI 설정을 위해 별도의 Segmentation 모델을 사용하거나 attention weight mask 를 학습하는 모듈을 추가하는 방식을 주로 사용하였다. 그러나 전처리 방식은 Segmentation 모델의 성능에 의존하며 학습 기반 Attention Weight 방식은 손실 함수에 rPPG 관련 항만 포함되어 실제 rPPG 정보가 풍부한 영역에 정확히 Weight 를 부여하지 못하는 문제가 있다. 또한, 실시간 처리를 위해 사용되는 Temporal Shift Module (TSM) 은 시간 정보를 고정된 패턴으로 섞는 방식으로 비디오 별 특성을 고려하지 못한다. 본 연구는 이러한 한계를 해결하기 위해 Dual Branch 기반 Spatial Regularization Loss 와 Temporal Adaptive Weight 가 통합된 네트워크를 제안한다. 제안 네트워크는 Loss Function 에 Spatial Regularization 항을 추가하여 모델이 rPPG 신호와 상관관계가 높은 피부 영역에 Attention Weight 를 높게 형성하도록 명시적으로 규제함으로써 별도의 전처리 없이 신뢰도 높은 ROI 를 End-to-End 방식으로 학습한다. 또한, 기존 TSM 을 개선하여 각 채널 별로 인접 프레임 혼합 비율을 학습하는 Temporal Adaptive Weight 를 도입한다. 이를 통해 기존 TSM 대비 매우 적은 파라미터 증가만으로 심박 추정 성능을 향상시키며 Attention Mask 가 실제 피부 영역에 높은 가중치를 부여함을 확인하였다.;Heart rate is a core vital sign that reflects the state of the human body and is an important indicator of various health conditions, including cardiovascular disease and fatigue. Therefore, accurate heart rate monitoring is crucial for early disease detection and health management. Remote photoplethysmography (rPPG) technology uses camera images to detect changes in blood flow through blood vessels beneath the skin and non-contactly estimate biosignals such as heart rate and oxygen saturation. Because rPPG signals are not measured with uniform accuracy across the entire face and are strongly observed in certain areas, such as the forehead and cheekbones, accurate region-of-interest (ROI) selection is essential for ensuring accurate heart rate signal estimation. Existing studies have mainly used separate segmentation models for ROI setting or added a module for learning attention weight masks. However, preprocessing methods rely on the performance of the segmentation model, and learning-based attention weight methods only include rPPG-related terms in the loss function, which means they cannot accurately assign weights to regions rich in actual rPPG information. Furthermore, the Temporal Shift Module (TSM) used for real-time processing does not take into account video-specific characteristics, as it mixes temporal information into a fixed pattern. To address these limitations, this study proposes a network that integrates a loss of spatial regularization based on the dual-branch and a temporal adaptive weight. The proposed network adds a spatial regularization term to the loss function and explicitly constrains the model to form a high attention weight in skin regions highly correlated with the rPPG signal, thereby learning reliable ROIs in an end-to-end manner without additional preprocessing. We also improve existing TSM by introducing a temporal adaptive weight that learns the adjacent frame mixing ratio for each channel. This improves heart rate estimation performance with only a very small increase in parameters compared to conventional TSM, and we confirmed that the attention mask assigns a high weight to actual skin regions.