Human Emotion Assessment Using Wearable Sensing and Machine Learning with Anomaly Detection in the Urban Environment

Abstract

Walkability represents the degree to which pedestrians are willing to walk and the extent to which the environment is favorable for walking. The measurement of walkability involves both objective and subjective variables. Several studies on walkability have focused on objective factors, including crosswalks, facilities, and traffic, as they are easier to measure than subjective factors, including perceived safety, pleasure, and comfort. However, considering the subjective variables is significant, as the environment influences human emotional states. While subjective factors can be assessed through surveys, conducting surveys has time-consuming difficulties and challenges in capturing momentary emotional states. Smart wearable sensors have recently been proposed to explore the potential to measure human emotions by collecting and analyzing pedestrians’ physiological and movement data. Furthermore, signal processing and classification technologies using machine learning and deep learning are being employed to analyze sensor data. Recently, as abnormal situations are associated with rapid changes in human emotions, the importance of anomaly analysis of sensor data has increased. However, despite the recent research efforts, studies on user responses using sensor data have focused on stress responses toward specific barriers rather than considering various emotional dimensions, such as pleasant and unpleasant. Thus, this study investigated whether pedestrian physiological and movement data can represent emotional states by capturing physiological and behavioral responses to the walking environment. Data, including electrodermal activity (EDA), heart rate variability (HRV), and acceleration (ACC), were collected using wearable sensor devices, and survey-based emotional response data was also collected. Initially, key features related to emotions were extracted from human physiological and movement data. Additionally, anomaly detection in sensor data was performed using the Long Short-Term Memory (LSTM) autoencoder model, an unsupervised deep learning algorithm for time series data. A dataset, including sensor data and anomaly detection results, was created for machine learning-based pedestrian emotion classification. The results showed that the bagging-tree algorithm using both physiological, movement, and anomaly data, achieved the highest accuracy of 75.15% compared to other machine learning algorithms. Therefore, the bagging tree algorithm was determined to evaluate the detailed classification performance with different combinations of data: solely use of (a) EDA and (b) HRV, (c) Physiological data (i.e., EDA and HRV data), (d) ACC(Movement data), (e) Physiological and Movement data (i.e., EDA, HRV, and ACC data), and (f) Sensor data and Anomaly Detection. As a result, it has demonstrated the potential for sensor data to measure human emotional states in the walking environment. Furthermore, the overall model performance improved with the integrated use of physiological and movement data when evaluating the classification model through performance indicators. The feasibility of anomaly detection using sensor data to improve the model performance of emotion classification has been demonstrated. The study demonstrated sensor data’s feasibility in classifying pedestrians’ pleasant or unpleasant emotions and discovered the possibility that anomaly detection affects pedestrian emotion measurement. This study provides a means for analyzing sensor data and measuring emotions in the walking environment. In addition, the study enables an understanding of whether people feel pleasant or unpleasant in specific environments. As a result, it can contribute to developing effective strategies for improving the pedestrian environment and promoting physical and mental health.;인간은 다양한 환경에서 생활하며, 이러한 환경은 인간에게 영향을 미치는 다양한 요소를 포함하고 있다. 환경 요소를 측정하기 위한 지표는 객관적인 요소와 주관적인 요소로 구분된다. 특히, 워커빌리티는 보행자 얼마나 걷기를 원하는지를 나타내는 지표로 워커빌리티 측정은 객관적 및 주관적 요소를 모두 포함하고 있다. 객관적인 요소는 횡단보도, 시설 및 교통과 같이 구성되며 주관적인 요소는 안전감, 즐거움 및 편안함과 같은 인간의 감정을 포함한다. 현재 많은 연구는 객관적인 요소가 주관적인 요소보다 더 쉽게 측정할 수 있기 때문에, 주로 객관적인 요소에 집중하고 있다. 그러나 인간의 감정 상태는 환경 인식에 큰 영향을 미치기 때문에 주관적인 요소를 고려하는 것은 중요하다. 주관적인 요소는 설문조사를 통해 파악할 수 있으나, 매번 설문을 실시하는 것은 사회적 및 경제적 어려움이 존재한다. 또한, 보행과 같이 시간에 따라 변화하는 환경에서 설문조사를 통해 감정을 수집할 때, 순간적인 감정 상태를 충분히 포착하기 어렵다. 최근 스마트 웨어러블 센서의 발전은 인간의 생체 데이터 및 이동 데이터를 수집하고 분석하여 다양한 환경 요소에 대한 인간의 반응 추정을 가능하게 한다. 즉, 센서 데이터를 포함한 스마트 웨어러블 기기가 개발되어 센서 데이터를 기록하고, 이를 통해 스트레스, 인간 감정, 사용자의 위험감 등을 측정할 수 있게 되었다. 또한, 광범위한 센서 데이터를 분석하기 위한 신호 처리 및 분류 기술이 활용되고 있다. 인공지능을 활용한 머신러닝 기술을 통해 대량의 센서 데이터를 처리하고 특정한 패턴을 학습하여 의미 있는 정보를 추출할 수 있다. 그리고, 인간의 감정을 측정하는 데 있어서, 센서 데이터 이상치 분석의 중요성이 증가했다. 이는 비정상적인 상황이 인간의 감정의 갑작스러운 변화와 관련이 있으며, 비정상적인 상황은 센서 데이터에서 이상을 일으키기 때문이다. 그러나 센서 데이터를 활용한 보행자 반응에 대한 최근 연구는 특정 요소에 대한 보행자 스트레스 반응에 중점을 두며, 쾌적/보통/불쾌적과 같은 다양한 감정적 측면을 고려하지 않았다. 따라서, 본 연구는 스마트 웨어러블 기기에 탑재된 센서를 활용하여 실시간으로 인간의 생체 데이터 및 이동 데이터를 수집 및 분석하고, 이러한 데이터가 주관적인 요소인 인간의 감정 상태를 나타낼 수 있는지 조사하는 것을 목적으로 한다. 걷는 데 불편함이 없는 대상자 40명에 대하여 피부전도도, 심박수, 가속도 등의 생체 데이터 및 이동 데이터를 수집하였으며, 시계열 데이터 분석 결과의 검증을 위해 설문조사 기반의 감정 데이터를 수집하였다. 또한, 딥러닝 기반 시계열 비지도 학습 알고리즘인 LSTM 오토인코더 모델을 통해 센서 데이터의 이상치 탐지(Anomaly Detection)를 수행하였다. 센서 데이터와 이상치 탐지 결과를 포함한 데이터셋을 생성하여 머신러닝 기반 보행자 감정 분류를 수행하였다. 그 결과, 배깅트리(Bagging-tree) 알고리즘이 가장 높은 정확도를 나타내었으며, 배깅트리를 활용하여 여러 데이터셋을 대상으로 분석을 수행하였다. 결과적으로 본 연구는 센서 데이터의 감정 분류의 가능성을 제시하며, 다양한 데이터를 활용할수록 분류 모델의 성능이 향상됨을 시사한다. 또한, 이상치 탐지가 보행자의 감정 측정에 영향을 준다는 가능성을 발견하였다. 따라서, 본 연구는 보행 환경에서 스마트 웨어러블 센서와 인공지능을 활용하여 보행자의 감정을 분석하고 측정하는 방법을 제시한다. 이는 경제적 그리고 사회적 어려움 및 보행자의 실시간 감정분석의 어려움 등의 설문조사의 단점을 극복함으로써, 스마트 웨어러블 기기를 사용하여 인간의 주관적인 요소를 측정하는 데 기여할 수 있다. 또한, 보행자의 감정 데이터가 누적되면, 특정 감정을 유발하는 환경 조건을 파악할 가능성이 있다. 이를 기반으로 보행 환경 개선을 위한 전략을 수립할 수 있다. 따라서, 본 연구를 통해 센서 데이터를 활용하여 보행자의 감정 상태를 이해하고, 보행 환경 개선 전략을 개발하는 데 기여할 수 있다.