3D Heatmap based Human Activity Classification using Frequency Modulated Continuous Wave Radar Signals

Abstract

FMCW 레이더는 객체의 미세한 움직임을 감지하며, 사생활 침해 우려 없이 사용할 수 있다. 따라서, 레이더로 동작과 자세를 인식하여 낙상 등 비정상 상황 감지, 재택 재활 치료 보조 등 일상생활의 안전을 위한 연구가 활발히 수행되고 있다. 특히, 방위각-고도각 방향의 antenna array element 를 모두 가진 Frequency Modulated Continuous Wave (FMCW) 레이더는 3 차원 공간 정보를 획득할 수 있기 때문에 동작 및 자세 분류에 효과적으로 사용할 수 있다. 하지만 현재까지 연구된 FMCW 레이더 기반 동작 분류 시스템은 포인트 클라우드를 입력으로 사용하여 Constant False Alarm Rate (CFAR) 역치 값 등 hyperparameter 에 의존적인 전처리 단계가 필요하며, 필터링 과정에서 객체 동작에 대한 정보 손실이 존재할 수 있다는 한계가 있다. 더불어, 기존 연구는 3 차원 포인트 클라우드 데이터를 2 차원 평면으로 투영하여 dual-view 로 입력을 사용함으로써, 객체 동작의 3 차원에서의 특성을 반영하기 어렵다는 단점도 있다. 기존 연구의 한계를 극복하기 위해 별도의 hyperparameter 설정 과정이나 필터링 등의 정보 손실 없이 거리-방위각-고도각 공간 정보를 포함하는 3 차원 heatmap 시퀀스 입력의 동작 분류에 대한 연구를 진행하였다. 본 논문에서는 방위각-고도각 방향의 안테나를 모두 활용하여 거리-방위각-고도각 3 차원 heatmap 영상을 시간 축으로 쌓아 일정 시간 동안 3 차원 공간 정보를 취득하고, 전체 시간에 걸쳐 발생하는 하나의 동작을 분류하는 딥러닝 시스템을 제안한다. 별도의 hyperparameter 설정 과정이나 필터링 등의 정보 손실 없이 거리-방위각-고도각 공간 정보를 포함하는 3 차원 heatmap 시퀀스 입력의 동작 분류에 대한 연구를 진행하였다. 최종적으로 사람 동작 분류를 위한 기존에 사용되지 않았던 거리-방위각-고도각 3 차원 heatmap 프레임 시퀀스를 입력으로 사용하여 공간과 시간 정보를 반영한 동작 분류 시스템을 제안한다.;In this paper, we investigated a deep learning-based human activity classification task in indoor environments using FMCW radar. To classify human activity, we generated 3D heatmaps containing range, azimuth angle, and elevation angle information from human activities. We then built a time-distributed dual-view 2D CNN model with inputs of range-elevation angle and azimuth-elevation angle 2D heatmaps projected from 3D range-azimuth-elevation heatmaps. Additionally, we designed a hybrid model composed of a 3D CNN and LSTM in a sequential structure, using 3D heatmaps to classify four human activities: falling, sitting down, standing up, and walking. First, we studied a time-distributed dual-view 2D CNN model-based classifier with 2D heatmap sequences, exploiting range-elevation and azimuth-elevation angle heatmaps. Next, we examined a 3D CNN-LSTM based classifier with 3D heatmap sequences. In both proposed methods, we determined a single activity class by considering the entire sequence of heatmap frames. Our proposed methods showed improved classification performance compared to existing methods that use projected voxels generated from radar point clouds.