Framework for Abnormal Situation Identification based on Action Detection and Sequence Analysis

Abstract

Identification of abnormal situations (e.g., shoplifting, arson, fighting, and evacuation) is essential for public safety in cities because abnormal situations are often seen as signs that affect people’s safety and property damage. Recently, many previous studies have tried to automatically identify abnormal situations by detecting relevant human actions and provide feedback by developing an intelligent video surveillance system. However, they can be applied only to pre-defined particular situations because of the difficulty in training the model toward a wide range of abnormal situations, which makes it difficult to ensure the generality of the model. In addition, to better identify the abnormal situation, it is essential to understand a set of behaviors and contextual information in case human actions directly associated with abnormal situations are undetected or inaccurately detected. As such, identifying an abnormal situation with only a limited number of relevant actions can lead to errors in judgment, which emphasizes the importance of understanding pre- and post-indications of situations through action sequence analysis. This study thus proposed a framework to identify abnormal situations based on human action detection and sequence analysis. More specifically, in this framework, non-semantic human action components (e.g., walking, running, standing, watching), which generally applicable to a variety of abnormal situations, were first detected. Then, by combining them as action sequences and analyzing them, the detected actions were transformed into semantic information about abnormal situations to infer the abnormality. Based on the developed framework, this study tested the applicability of the framework to the specific abnormal situation focusing on shoplifting, which is one of the most common and costly crimes. Analysis of the actual data collected in retail stores confirmed that the sequences of normal and abnormal situations were differentiated through distinct behavioral cues inferred before and after shoplifting. In addition, various application examples to other abnormal situations (e.g., arson, terrorism) described in this study showed the extendability of the framework. This study can contribute to enhancing the applicability of an existing intelligent surveillance system toward various abnormal situations with the generality of the developed framework and the ability to understand context information of abnormal situations through human action sequence analysis. The result of this study is expected to enhance urban public safety by providing a means for versatile abnormal situations monitoring in the city.;이상 상황은 도시 어디에서나 발생하며 주로 사람들의 안전 및 재산 피해에 영향을 주는 범죄 또는 사고의 신호로 볼 수 있다. 따라서 도시 내에서 이상 상황을 식별하는 것은 인적 및 물적 피해를 방지하기 위해 필수적이다. 최근 많은 연구에서는 이상 상황을 자동으로 감지하고 피드백을 제공하는 지능형 비디오 감시 시스템을 개발했다. 하지만 이상 상황의 경우는 도둑, 방화, 싸움, 대피 등과 같이 매우 다양하기 때문에 여러 모델을 훈련 시키는 데 어려움이 있고 모델의 일반성을 얻기 힘들다. 또한 이상 상황은 사람의 여러 행동의 조합으로 이루어지기 때문에 각 행동 전후의 맥락 파악이 중요하다. 제한된 수의 특정 행동으로만 이상 상황을 감지할 경우 상황 판단에 오류가 발생할 수 있고, 해당 행동의 감지에 실패할 경우 이상 상황 자체를 파악할 수 없다는 문제점이 있다. 이는 행동 시퀀스 분석을 통한 사전·사후 행동 및 주변 상황 이해의 중요성을 강조한다. 따라서 본 연구는 사람의 행동 감지와 시퀀스 분석을 기반으로 다양한 이상 상황에 적용될 수 있는 프레임워크를 제안하였다. 프레임워크에서는 걷기, 달리기, 서있기 등과 같은 비의미적 행동들이 우선적으로 감지된다. 이 비의미적 행동들은 다양한 비정상 상황에 일반적으로 적용될 수 있는 행동들이다. 그 후, 감지된 행동들은 조합되어 하나의 시퀀스가 되고, 시퀀스 분석을 통해 각 행동들은 의미적 행동으로 변환되어 비정상 상황을 유추할 수 있다. 본 연구는 도둑질이 가장 흔하고 손실 비용이 큰 범죄 중 하나라는 사실에 근거하여, 이에 초점을 맞춰 특정 상황에 대한 프레임워크의 적용 가능성을 테스트했다. 소매점에서 수집한 실제 데이터의 분석을 통해 정상 상황과 이상 상황의 시퀀스가 다름을 확인하였고, 물건을 훔치는 행동 전후에 이를 추론할 수 있는 행동 신호가 있음을 파악하였다. 또한 무단투기, 방화, 테러와 같은 다른 이상 상황의 적용 예시를 통해 프레임워크의 일반성과 확장 가능성을 시사한다. 본 연구는 사람의 행동 시퀀스 분석을 통해 이상 상황 시 주변 상황 정보를 이해하는 능력에 기여할 수 있으며, 도시 내 이상 상황 모니터링의 개발을 위한 연구로서 활용되어 궁극적으로 공공 안전을 향상시킬 것으로 기대된다.