ESB 상에서 온라인 데이터의 품질 관리를 위한 서비스 설계 및 구현

Abstract

비즈니스 로직이 복잡해지고 시스템에서 대용량의 데이터가 사용됨에 따라 데이터의 품질을 관리하기 위한 연구들이 시작되었다. 현재까지 이루어진 대용량 데이터의 품질 관리는 지식 공학 시스템에서 시작하여, 여러 소스로부터 통합되어 있는 데이터베이스에 저장되어 있는 데이터의 품질을 관리함으로써 의미 있는 정보를 분석하기 위함이었다. 이러한 데이터베이스의 데이터에서 시작된 품질 관리는 점차 시스템들이 통합됨에 따라 온라인 상에서 전달되는 데이터에 대한 품질을 보장할 필요가 생겨났다. 즉 전체 시스템의 품질 관리 측면에서 이미 시스템에서 사용되고 저장된 데이터가 아닌 시스템에서 사용되기 전에 데이터를 관리하여 정제된 데이터가 시스템에서 사용될 때 시스템의 품질 향상을 기대한다. 본 논문에서는 서비스 기반 구조(SOA: Service Oriented Architecture)를 지원하는 엔터프라이즈 서비스 버스(ESB: Enterprise Service Bus) 상에서 서비스들이 통합되어 시스템을 구성하는 서비스들의 상호 작용 과정에서 발생하는 데이터의 품질을 관리하는 서비스를 설계하고 구현한다. ESB 상에서 서비스 구현은 시스템을 분석하고, 필요한 기능을 수행하기 위한 서비스를 서비스 라이브러리에 저장된 서비스를 사용하거나, 새로운 서비스를 개발하여 서비스 라이브러리에 등록하고, 필요한 서비스들로 시스템을 구성하는 단계로 이루어져 있다. 이 단계에 따라 오류 데이터 분류 체계와 데이터의 태그 분석을 통해 오류 데이터 측정 기준을 제시한다. 제시한 오류 데이터의 측정 기준을 입력된 데이터를 가지고 데이터와 기준을 포함하는 하나의 XML 문서를 생성한다. 데이터와 오류 측정 기준이 포함된 문서를 사용하여 오류 데이터를 분류하고, 오류 데이터로 분류된 데이터를 정제할 수 있는 환경과 오류 데이터 측정 결과를 사용자에게 제공한다.;According to Business logic has become more complicated and systems uses bulk data, need of data quality is beginning to make its appearance. Existing researches are managed data quality in database integrated from multi source system. So we need to manage quality of online data occurred in system integration on Enterprise Service Bus. In this paper, we designed and implemented the service for managing quality of XML based data which is input document of online system based on ESB. We define the service development process and design the development scenario of ESB. We proposed the criteria to detect dirty data and new form of XML data including data and criteria for detecting dirty data. We supplied the environment that classified dirty data can be easily cleansed, and rate of dirty data about input data and cleansed data. We show the improvement of data quality after executing service to manage online XML data in this paper.