IoT 스트림 데이터의 윈도우 패턴 인식 및 저장 시스템 설계 및 구현

Abstract

사물 인터넷(Internet of Things) 추세가 급속하게 성장하게 되면서 센서 또는 장치에 연결되어 사람과 사물을 언제 어디서든 연결할 수 있게 되었다. 이와 함께 네트워크상에서 공유되는 데이터의 양도 증가하게 되었는데, 개별 장치로 수집된 데이터가 불충분한 정보를 제공하더라도 이 데이터들을 수집 및 분석을 하게 될 경우 재난 관리, 고객 감정 분석, 스마트 도시 및 생체 감시 등 중요한 응용 분야에 유용한 정보를 제공할 수 있다. 또한 IoT 환경이 보편화 되면서 이와 관련된 빅데이터를 대상으로 딥러닝을 적용하게 될 경우 딥러닝의 한정된 적용 분야를 확대할 수 있을 것으로 예상한다. 하지만 실시간으로 변화하고 생성되는 방대한 데이터의 학습 데이터 세트를 준비하여 제공하는 데에 어려움이 생기게 되고 즉각적으로 반응하기 위해서는 자동화를 하는 연구가 필요하다. 본 논문에서는 능동형 빅데이터 기술을 바탕으로 딥러닝에 적용하기 위한 학습 데이터 세트를 생성할 수 있는 이벤트 기반의 규칙시스템 라이브러리를 구축을 목표로 하여 학습 데이터 세트가 점진적인 형태로 자동으로 만들어질 수 있는 IoT 스트림 데이터의 학습 데이터 세트 자동 생성 시스템을 제안한다. 실시간으로 변화하고 생성되는 방대한 데이터를 위한 스트리밍 데이터 처리 환경에서 구축하였고, 학습 데이터 세트의 생성을 위해 스트리밍 데이터를 윈도우 단위로 나누어 정해진 패턴을 사용자가 정의하면 분류할 수 있도록 하였다. 또한 사용자가 비교하고 싶은 패턴을 지정하도록 하여 패턴 외의 이상 값을 추출하거나 패턴과 나누어진 윈도우 간의 상관관계 분석도 가능하도록 구현하였다. 또한 학습데이터 세트 생성을 위한 패턴 처리 시 필요한 윈도우 크기와 간격 및 사용자가 조건에 필요한 세부 사항들은 데이터베이스에 저장하도록 하여 사용자가 세부 사항에 대한 변경이 용이하도록 설계하였다.;As Internet of Things trend grows rapidly, sensors or devices can connect to people and things anytime, anywhere. In addition, the amount of data shared on the network has increased. Even if data collected by individual devices provide insufficient information, collecting and analyzing these data can provide useful information for important problems such as disaster management, customer sentiment analysis and other applications. In addition, as the IoT environment becomes popular, it is expected that the application of deep learning will be extended to the various fields if deep learning is applied to the related big data. However, there area difficulties in preparing and providing a set of training data of vast amount, which changes in real time, therefore it is necessary to study automatic processing of such data in order to react immediately. In this paper, we propose an event-based rule system library that can generate training data sets for deep learning based on active big data technology. We propose a platform for automatic generation of learning data sets of stream data. It is constructed in a stream data processing environment for vast amount of data that changes in real time. In order to generate the training data set, streaming data is divided into window units, so that a user can define a predetermined pattern on which classification is possible. In addition, the user can specify the pattern to be compared and extract the abnormal value from the pattern or analyze the correlation between the patterns among the divided windows. In addition, the size and interval of the window and the parameter values required for pattern processing for training data set generation are stored in the database so that the user can easily change the details. The training data set is stored in the database along with tagged information. The proposed system has been implemented and experimented with publicly available sensor data and shows that the desired patterns are identified as specified by the user controlling the training data set generation.