Concentration Efficiency Estimated by Posture and Movement Recognition Using OpenPose Neural Network

Abstract

COVID-19 로 인한 팬데믹이 시작되며 가상 회의 플랫폼을 이용한 온라인 회의가 활성화 되었다. 그러나 갑작스런 수요 증가로 적절한 모니터링 환경은 마련되지 않았고 참석자들의 참석률과 집중도는 최대 95%까지 떨어지는 등 그 효율이 감소되는 것이 목격되었다. 따라서 본 논문은 온라인 학습을 하는 참가자들의 집중도를 평가하는 객관적인 지표를 제시하고자 한다. 이를 위하여 오픈포즈 라이브러리를 이용해 학습자 자세의 위치 데이터를 수집하였고, 정면 얼굴 감지, 신체 움직임 감지, 그리고 척추 측만 가능성의 총 세 가지 측정 항목이 고안되었다. 일반적으로 학생들은 수업에 집중할 때 두드러지는 움직임 없이 화면을 바라보며 바르게 앉은 자세를 취한다. 이를 전제로, 위치데이터를 계산하여 얻은 세 가지 측정 항목은 집중도를 결정하는 요인이 된다. 해당 프레임워크를 구현하기 위해 사용자 연구가 진행되었고 총 7.3GB 크기의 테스트 데이터셋을 수집하였다. 각 데이터들은 참가자들의 자가 진단에 따라 집중도가 표시되어 있다. 그 결과 집중도가 높은 그룹은 낮은 그룹에 비해 정면 얼굴이 더 잘 감지되고, 몸의 움직임이 적으며, 척추 측만증의 가능성이 적음이 발견되었다. 제안한 세 가지 측정 항목은 두 그룹 간의 분명한 차이를 보이며, 하나의 메트릭으로 집계하였을 때 서로의 직교성과 보완성을 증명한다. 결과적으로, 이 논문은 얼굴 감지, 신체 움직임, 그리고 척추 측만증을 나타내는 세 가지 항목을 측정하여, 집중도를 평가하는 비침습적이며 경제적이고 자동화된 방법을 제안한다. 본 연구는 향후 보다 정확한 측정을 위해 시선 추적과 물체 감지 등의 기술을 추가로 적용할 예정이다.;With the onset of the pandemic and the advent of the virtual era, the demand for online meetings has increased. Due to the lack of an appropriate monitoring system, however, the participation rate tended to drop by up to 95%. This paper aims to present objective indicators to evaluate concentration, and contribute to all groups of students, instructors, and institutions. The OpenPose library is utilized to recognize students’ posture during online meetings, and three new metrics are devised for estimating the concentration levels: facial detection, body movement detection, and scoliosis possibility. Generally, when students are focusing on a lecture, they tend to look at the camera or screen without much movement and with an upright sitting posture. On the premise of that, three metrics are calculated from the location data of students’ body parts and determine the concentration level. To implement the framework, by conducting user study, a 7.3GB size of test dataset is collected and labeled according to participants’ self-diagnosis. It results that the high-focused group shows better facial detection, lesser body movement, and lesser probability of scoliosis than the poor-focused group. These three metrics demonstrate striking average differences between two groups and prove the orthogonality and complement one another when aggregated into one metric. The aggregated metric for concentration level measurement represents statistical significance. Consequently, this paper proposes a non-intrusive, automated, and economical method of evaluating concentration level by measuring three metrics which represent facial detection, body movement, and scoliosis respectively. As a future work of this study, eye tracking and object detection will be deployed for more accurate measurement.