OLAP시스템에서 희박 데이터의 패턴 분류 및 성능 평가

Abstract

OLAP(On-Line Analytical Processing) 시스템은 데이터 웨어하우스 내의 방대한 양의 데이터에 대해 사용자와의 상호 작용이 가능하고, 빠른 응답 시간을 요구한다. 또한 다량의 데이터에 대한 다양한 집계 연산을 요구하기 때문에 데이터 원본에 대해 직접적으로 수행될 경우 많은 수행시간이 요구된다. 그러므로 사용자의 질의에 대한 빠른 응답성능을 보장하기 위해 일반적으로 사전 연산(precomputation) 결과를 저장해 놓는 해결방법을 사용하는데, OLAP 데이터의 희박성은 사전 연산 결과가 수반하는 데이터 폭발 현상을 일으켜 도리어 0LAP성능을 저하시키는 주된 요인이 된다. 이에 본 논문에서는 OLAP의 희박 데이터와 희박 데이터로부터 야기되는 0LAP의 성능저하 문제와 현재까지 연구된 희박 데이터 처리 방법에 대해 기술하였다. 또한 이를 기반으로 OLAP 데이터의 희박성 형태를 정의하고 정의된 희박성 형태에 따라 데이터를 생성하는 데이터 생성 프로그램을 구현하였다. 그리고 구현된 프로그램을 사용하여 생성된 희박 데이터 이용해 MS SQL Server 2000 Analysis Services와 Pilot DSS의 OLAP제품에 다차원 데이터 모델을 설정하였다. 그리고 일반적인 OLAP의 7가지 질의에 대해 질의를 수행해 보고 각 OLAP 제품들의 희박 데이터의 형태에 따른 성능을 측정하고 분석하였다. 이러한 희박성에 형태에 따른 데이터 생성기는 0LAP의 성능 평가를 위한 테스트 데이터 생성 프로그램의 기반이 될 것이다. 또한 본 연구에서 수행된 OLAP 제품들의 성능 평가를 분석하고 이를 확장 시킨다면 일반화된 희박성 형태의 다차원 저장 및 처리 기법 연구에 대한 다양한 접근 방법을 제시할 수 있을 것으로 전망된다.;OLAP performs the applications over large amounts of data of data warehouse that interact with users and require fast response time. Because these applications need a lot of multidimensional aggregation, it can take many hours or even days to run if executed directly on the raw data. The most common and powerful method of reducing response time is to precompute some of the queries into summary tables. In this case sparse data of OLAP causes data explosion and decreases the performance of OLAP. In this paper, we investigated on the sparse data of OLAP, the performance bottleneck problem caused by data sparsity and the existing methods for controlling the sparsity of OLAP. Furthermore based on the investigation, we defined the sparsity patterns of OLAP data and implemented the program that generates the sparse data according to the defined sparsity patterns. We also set up the multidimensional models using the generated sparse data by the implemented program on two OLAP products, MS SQL Server Analysis Services and Pilot DSS. And we executed general 7 queries of OLAP on the multidimensional models then analyzed the performance results with each sparsity pattern. The data generation program that we proposed in this paper would be the fundamental of the data generation program for OLAP performance benchmarking. Also based on a results and the performance analysis of this thesis, we can propose the generalized controlling methods or storage structures to handle all kinds of sparsity patterns.