OLAP 마이닝을 이용한 웹 사용 패턴 분석 시스템의 설계 및 구현

Abstract

웹 사용 패턴 마이닝(Web Usage Mining)은 웹 페이지에 접근하는 사용자들의 행위를 분석하여 유용하지만 쉽게 발견되지 않는 사실을 발견해 내기 위한 데이터 마이닝 기술의 응용분야 이다. 웹 기술과 데이터 마이닝(Data Mining) 기법의 발전으로 웹 페이지에 접근하는 사용자들의 방대한 로그 기록에 대해서도 데이터 마이닝을 수행하는 것이 가능해 졌다. 이에 본 논문에서는 IIS 웹 서버를 통해 축적되는 사용자 로그 데이터와 사이트 이용 고객 프로파일 데이터를 이용하여 웹 사용 패턴을 분석하기 위한 시스템을 구현한다. 구현된 웹 사용 패턴 분석 시스템은 데이터 전처리, 패턴 발견, 패턴 분석의 3단계로 이루어 지며 모든 처리 과정은 자동화되어 있다 특히, 패턴 분석을 위해 온라인 분석 처리(On-Line Analytical Processing) 다차원 모델을 데이터 소스로 하는 OLAP 마이닝 모델(On-Line Analytical Processing Mining Model)을 사용하였으며, 데이터 전처리기에서 데이터 정제 및 변형 과정 이외에 다차원 데이터 모델을 위한 차원 항목 자동 설정 알고리즘을 구현하였다. 본 논문에서 구현한 OLAP 마이닝을 이용한 웹 사용 패턴 분석 시스템은 로그 파일 전송 모듈, 통합 로그 파일 생성 모듈, 데이터 전처리기 실행 모듈, 데이터 웨어하우스 구축 모듈, OLAP 마이닝을 위한 예측 질의 실행 모듈의 5개의 하위 모듈로 구성된다. 시스템은 Microsoft SQL Server 2000 내의 Data Transformation Services Designer를 이용하며 Analysis Services Manager를 사용한 웹 사용 패턴 분석 예를 다루었다.;As a confluence of data mining and WWW technologies, it is possible to perform data mining on web log records collected from the Internet web page access history. Web usage mining is the application of data mining techniques to discover usage patterns from Web data, in order to understand and better serve the needs of web-based applications In this paper, we design and implement the web usage pattern analysis system using OLAP Mining. Web usage pattern analysis system consists of three phases, namely data preprocessing, pattern discovery, and pattern analysis and all the process is automated. This paper describes each of these phases in detail. For data collection, we used user log data saved in IIS web server and customer profile database. For pattern discovery, we used OLAP mining model that using the data source of online analytical processing multidimensional model. For data preprocessing, we presents several data preparation techniques in order to identify unique users and user sessions and above all, implemented dimensional attribute automatic setting algorithm for multidimensional data model. Web usage pattern analysis system using OLAP Mining composed of log file transport package, integrated log file generation package, data preprocessing execution package, data warehouse building package and prediction query execution package. We described the results of pattern analysis about example web site.;As a confluence of data mining and WWW technologies, it is possible to perform data mining on web log records collected from the Internet web page access history. Web usage mining is the application of data mining techniques to discover usage patterns from Web data, in order to understand and better serve the needs of web-based applications In this paper, we design and implement the web usage pattern analysis system using OLAP Mining. Web usage pattern analysis system consists of three phases, namely data preprocessing, pattern discovery, and pattern analysis and all the process is automated. This paper describes each of these phases in detail. For data collection, we used user log data saved in IIS web server and customer profile database. For pattern discovery, we used OLAP mining model that using the data source of online analytical processing multidimensional model. For data preprocessing, we presents several data preparation techniques in order to identify unique users and user sessions and above all, implemented dimensional attribute automatic setting algorithm for multidimensional data model. Web usage pattern analysis system using OLAP Mining composed of log file transport package, integrated log file generation package, data preprocessing execution package, data warehouse building package and prediction query execution package. We described the results of pattern analysis about example web site.;웹 사용 패턴 마이닝(Web Usage Mining)은 웹 페이지에 접근하는 사용자들의 행위를 분석하여 유용하지만 쉽게 발견되지 않는 사실을 발견해 내기 위한 데이터 마이닝 기술의 응용분야 이다. 웹 기술과 데이터 마이닝(Data Mining) 기법의 발전으로 웹 페이지에 접근하는 사용자들의 방대한 로그 기록에 대해서도 데이터 마이닝을 수행하는 것이 가능해 졌다. 이에 본 논문에서는 IIS 웹 서버를 통해 축적되는 사용자 로그 데이터와 사이트 이용 고객 프로파일 데이터를 이용하여 웹 사용 패턴을 분석하기 위한 시스템을 구현한다. 구현된 웹 사용 패턴 분석 시스템은 데이터 전처리, 패턴 발견, 패턴 분석의 3단계로 이루어 지며 모든 처리 과정은 자동화되어 있다 특히, 패턴 분석을 위해 온라인 분석 처리(On-Line Analytical Processing) 다차원 모델을 데이터 소스로 하는 OLAP 마이닝 모델(On-Line Analytical Processing Mining Model)을 사용하였으며, 데이터 전처리기에서 데이터 정제 및 변형 과정 이외에 다차원 데이터 모델을 위한 차원 항목 자동 설정 알고리즘을 구현하였다. 본 논문에서 구현한 OLAP 마이닝을 이용한 웹 사용 패턴 분석 시스템은 로그 파일 전송 모듈, 통합 로그 파일 생성 모듈, 데이터 전처리기 실행 모듈, 데이터 웨어하우스 구축 모듈, OLAP 마이닝을 위한 예측 질의 실행 모듈의 5개의 하위 모듈로 구성된다. 시스템은 Microsoft SQL Server 2000 내의 Data Transformation Services Designer를 이용하며 Analysis Services Manager를 사용한 웹 사용 패턴 분석 예를 다루었다.