스켈레톤 기반 보행 인식을 위한 명시적 동역학 모델링 및 웨이블릿 특징 스트림

Abstract

보행(Gait) 인식은 안면이나 지문 인식과 달리 대상의 협조 없이 원거리에서 식별 가능한 유일한 생체 정보로서 독보적인 가치를 지닌다. 그러나 실제 환경(In-the-wild)에서는 옷차림 변화나 소지품 휴대와 같은 다양한 공변량(Covariate) 요인으로 인해 인식 성능이 급격히 저하되는 문제가 존재한다. 이를 극복하기 위해 스켈레톤 기반 접근법이 대두되었으며, 최신 연구들은 관절의 위치뿐만 아니라 속도(Velocity) 등의 동적 정보를 입력으로 활용하여 성능을 개선해 왔다. 하지만 기존 방법론들은 여전히 시간 도메인(Time-domain) 상의 수치 데이터를 직접 처리하거나 신경망의 암묵적 학습에 의존하고 있어, 보행 신호에 내재한 다중 스케일(Multi-scale)의 시간-주파수(Time-Frequency) 특성을 명시적으로 분리하여 활용하지 못한다는 한계를 갖는다. 따라서 본 논문에서는 기존 모델에 플러그 앤드 플레이(Plug-and-play) 방식으로 결합 가능한 웨이블릿 특징 스트림(Wavelet Feature Stream)을 제안한다. 본 연구는 방법론 설계에 앞서 IMU 센서 기반의 오라클 실험(Oracle Study)을 수행하였으며, 이를 통해 시각적 외형 정보가 배제된 상태에서도 관절의 속도와 시간-주파수 패턴만으로 충분한 식별력을 확보할 수 있음을 실증하였다. 이러한 실험적 통찰에 기반하여, 우리는 관절 속도(Joint Velocity)에 웨이블릿 변환을 적용함으로써 위치 편향(Position Bias)과 정적인 체형 정보를 제거하고, 보행 고유의 동역학을 스칼로그램(Scalogram)이라는 명시적 시-주파수 표현으로 변환하여 학습하는 새로운 접근법을 제시한다. 공개 벤치마크 데이터 세트인 CASIA-B에서의 실험 결과, 제안하는 모듈로 GaitGraph, GaitFormer, GaitMixer 등 다양한 최신 스켈레톤 모델(SOTA)의 성능이 일관되게 향상했다. 특히, 외형 변화가 가장 심한 외투 착용(CL) 조건에서 GaitMixer에 본 모듈을 결합했을 때 86.7%의 Rank-1 정확도를 달성하였다. 이는 기존 스켈레톤 기반 모델뿐만 아니라 최신 실루엣 기반 모델들의 성능을 상회하는 결과로, 본 연구가 제안한 명시적 동역학 모델링이 실제 환경의 다양한 변화에 대해 매우 강건함을 실증적으로 입증한다.;Gait recognition is a unique biometric modality that enables person identification at a distance without requiring subject cooperation, distinguishing it from facial or fingerprint recognition. However, in real-world scenarios, its performance often degrades due to covariate factors such as clothing variations and carrying conditions. To mitigate these challenges, skeleton-based approaches have recently gained attention by leveraging motion-related cues such as joint trajectories and velocities. Despite their progress, most existing methods either directly process numerical joint signals in the time domain or rely on neural networks to implicitly learn discriminative patterns, without explicitly modeling the multi-scale time–frequency characteristics intrinsic to gait dynamics. To address this limitation, this thesis proposes the Wavelet Feature Stream, a plug-and-play module designed to explicitly capture gait dynamics through time–frequency analysis. Prior to the model design, an IMU sensor–based oracle study was conducted, demonstrating that joint velocities and their time–frequency patterns alone provide strong discriminative power, even in the absence of visual appearance information. Guided by these findings, we apply the wavelet transform to joint velocity signals, effectively removing position bias and static anthropometric cues while transforming gait dynamics into a scalable time–frequency representation. Extensive experiments on the CASIA-B benchmark show that the proposed module consistently improves the performance of multiple state-of-the-art skeleton-based models, including GaitGraph, GaitFormer, and GaitMixer. In particular, when integrated with GaitMixer, our approach achieves a Rank-1 accuracy of 86.7% under the challenging clothing variation condition, demonstrating strong robustness to appearance changes.