End-to-End Lightweight LiDAR-based 3D Human Pose Estimation via 2D Depth Images

Abstract

As intelligent systems such as autonomous vehicles, delivery robots, and indoor monitoring systems are increasingly deployed in human-centered environments, lightweight and accurate human perception has become essential. In this context, 3D human pose estimation provides important cues for understanding human states and actions. light detection and ranging （LiDAR） sensors have attracted attention because they provide direct 3D depth measurements, robust sensing performance, and privacy-preserving perception. However, existing LiDAR-based 3D human pose estimation methods mainly process point clouds directly, resulting in high computational and memory costs. Moreover, many previous approaches rely on cropped human point clouds, limiting their applicability to end-to-end pose estimation from raw LiDAR scenes. In this thesis, we propose a lightweight end-to-end LiDAR-based 3D human pose estimation method specifically designed for deployment in human-centered environments. Unlike conventional 3D direct processing methods, our approach strategically reduces computational complexity by projecting point clouds into 2D depth images and leveraging a lightweight MoveNet, followed by efficient 3D lifting. Furthermore, we introduce a self-occlusion correction algorithm to improve robustness under side-view and bending poses, where depth-based projections often suffer from distortion. Experimental results on benchmark dataset demonstrate that the proposed method achieves competitive pose estimation accuracy while substantially improving efficiency, highlighting its practicality and scalability for real-time LiDAR-based 3D human pose estimation in resource-constrained environments.;자율주행차, 배달 로봇, 실내 모니터링 시스템과 같은 지능형 시스템이 인간 중심 환경에서 점차 활용됨에 따라, 사람을 정확하고 경량적으로 인식하는 기술의 중요성이 커지고 있다. 이러한 맥락에서 3차원 인체 자세 추정 기술은 사람의 상태와 행동을 이해하는 중요한 단서를 제공한다. LiDAR（light detection and ranging） 센서는 직접적인 3차원 거리 정보, 안정적인 센싱 성능, 개인정보 보호 측면의 장점으로 인해 주목받고 있다. 그러나 기존 LiDAR 기반 3차원 인체 자세 추정 방법들은 주로 point cloud를 직접 처리하기 때문에 높은 계산 비용과 메모리 사용량이 요구된다. 또한 많은 기존 연구들은 이미 분리된 사람 point cloud를 입력으로 사용하므로, 실제 raw LiDAR scene으로부터 최종 3차원 자세를 추정하는 end-to-end 구조로 적용하는 데 한계가 있다. 본 논문에서는 인간 중심 환경에서의 적용을 목표로 하는 경량 end-to-end LiDAR 기반 3차원 인체 자세 추정 방법을 제안한다. 제안 방법은 기존의 3차원 point cloud 직접 처리 방식과 달리, point cloud를 2D depth image로 투영하고 경량 MoveNet을 활용한 뒤 효율적인 3D lifting을 수행함으로써 계산 복잡도를 줄인다. 또한 depth 기반 projection 과정에서 왜곡이 발생하기 쉬운 side-view 및 bending pose에서의 강건성을 향상시키기 위해 self-occlusion 보정 알고리즘을 도입한다. Benchmark dataset을 이용한 실험 결과, 제안 방법은 경쟁력 있는 자세 추정 정확도를 달성하면서도 효율성을 크게 향상시켰다. 이러한 결과는 제안 방법이 제한된 연산 자원을 갖는 환경에서도 실시간 LiDAR 기반 3차원 인체 자세 추정에 실용적으로 적용 가능함을 보여준다.