Deep Learning based People Counting using Heatmap Images generated from Frequency Modulated Continuous Wave Radars

Abstract

In this paper, we propose a deep learning based people counting method using FMCW radars. For people counting using FMCW radars, we generate 2D heatmaps that have range and angle information of detected people. Then, we use convolutional neural network of which input is heatmaps for people counting. We first study 2D CNN of which input is 2D heatmaps. In this method, we determine the number of people for each frame using 2D heatmap of the frame. Then, we determine the number of people by the mode value of the result from every frame. Next, we study 3D CNN of which input is 3D heatmap. We determine the number of people by 3D CNN that considers every heatmap simultaneously. We compare the performance of the CNN based methods with conventional DBScan (Density-Based Spatial clustering of applications with noise) and 2D CNN methods. The proposed methods show improved performance comparing with existing methods.;최근 레이더를 기반으로 한 연구가 활발하게 진행되고 있다. 레이더는 카메라와는 다르게 사생활 보호가 가능하기 때문에 병원, 가정 등의 장소에서 사생활 노출 없이 인원 계수나 사용자의 동선 등을 파악하는 데에 사용될 수 있다. 또한 레이더 신호는 물체를 투과할 수 있을 뿐만 아니라 시각적인 요소에 제한이 적기 때문에 화재 등의 재난 현장에서 인원을 정확하게 파악하여 인명 구조를 효율적으로 할 수 있다. 따라서 레이더를 기반으로 한 다양한 기술 개발은 필수적이다. 특히 Frequency Modulated Continuous Wave (FMCW) 레이더는 펄스 레이더에 비하여 정확도와 민감도가 우수하기 때문에 더 다양한 분야에서 활용될 수 있다. 하지만 현재까지 연구된 FMCW 레이더 기반 인원 계수 시스템은 센서로부터 발생하는 노이즈와 다중 인원의 움직임으로부터 발생하는 다양한 문제점을 고려하지 않았다는 한계가 있다. 본 논문에서는 이러한 문제점을 개선하기 위하여 FMCW 레이더로부터 생성한 heatmap 영상을 입력으로 하는 딥러닝 기반 인원 계수 시스템을 제안한다. 제안하는 딥러닝 알고리즘은 Convolutional Neural Network (CNN) 로 거리-각도 2차원 heatmap 을 시간 축으로 스택한 3 차원 영상에서 인원 수를 추정한다. CNN 의 입력 데이터는 2 차원 heatmap 과 3 차원 heatmap 이다. 거리와 각도 정보를 가진 2차원 heatmap 영상은 레이더 센서로부터 획득한 정제되지 않은 데이터에 range FFT, 배경 등의 정지한 물체에 해당하는 클러터 제거와 Capon beamforming 을 수행하여 생성한다. 또한 2차원 heatmap 을 일정 프레임 스택하여 시간 정보를 가지는 3 차원 heatmap 영상을 생성한다. 제안 방법은 3차원 heatmap 영상에서 시간 정보를 이용하기 때문에 노이즈를 사람으로 인식하는 문제와 여러 명의 사람이 가까이 위치함으로써 발생하는 문제를 보완하여 높은 정확도의 인원 계수 결과를 가진다.