인공 신경망 기법을 통한 규칙 추출에 관한 연구

Abstract

Successful applications of neural network techniques in business research have been widely reported in the literature. Neural networks have been used as an alternative methodology for a number of managerial decision problems to predict bank failure, to perform bond rating, to analyze financial data for end users in the planning of the development part of information systems. The most important advantage of artificial neural networks is the high degree of accuracy reported when a neural network solution is used to generalize over a set of previously unseen examples from the problem domain. However, the use of neural networks as tools for data mining has been largely limited, because major drawback of neural networks as tools for predicting is the lack of their explanation capability when trained : it is generally difficult for a user to understand how a network arrives at a particular conclusion due to its complex architecture. Thus decision tree algorithms such as C5.0, ID3 (Interactive Dichotomiser 3), CART(Classification And Regression Tree) are used to achieve its goal of discovering pattern hidden in data. The most attractive feature of these methods is the expressive power of the extracted rules that focuses directly on the actual output presented to the end user. However, the rule from decision tree algorithms depends on the training data, therefore the stability and predictability to classify previously unseen examples is low. The purpose of this paper is to extract the rule from neural network using NeuroRule algorithm. To verify the validity of the extracted rule, the classification and prediction accuracy is compared to those of neural networks as well as rules from decision tree. It can be concluded that the extraction of a comprehensive rule from neural networks improves the power of its explanation as well as allowing neural networks to be applied to various domain. ;인공신경망은 분류 예측 문제의 해결하기 위한 다방면의 문제영역에서 사용하고 있다. 특히 부실 기업 예측 모형, 채권등급 평가 등 재무 관련 자료들을 분석하고 활용하여 결과를 예측함에 있어 그 정확성이 로지스틱 회귀분석(logistic regression), 판별분석 등의 통계기법이나 의사결정나무(decision tree)등의 다른 인공지능 기법보다 우수하여 그 활용 범위가 넓다. 또한 데이터의 잡음에 민감하지 않고 그 구조가 견고하다. 그러나 자료를 학습하는 내부 과정이 복잡한 수학적 모델에 의해서 생성되기 때문에 사용자들이 결과를 이해하기 어렵다. 복잡한 구조에 의한 설명력 부재는 인공신경망의 가장 큰 결점이다. 따라서 대안적으로 C5.0, ID3(Interative Dichotomiser 3), CART(Classification And Regression Tree), CHAID(Chi-squared Automation Interaction Detection), 군집(clustering) 알고리즘 등 연역적으로 규칙을 추론하는 기계학습(learning machine) 알고리즘을 사용하여 사용자가 이해하기 쉬운 패턴과 규칙을 도출했다. 그러나 의사결정나무 기법은 규칙을 만들기 위해 사용되는 데이터베이스에 의해서 영향을 많이 받아 경직되고 탄력성이 없으며 데이터베이스 내부의 모든 데이터를 소화하기 위하여 중복되거나 필요 없는 규칙까지 찾아내어 인공신경망보다 그 정확성이 떨어진다. 이에 본 연구에서는 신경망을 사용하여 규칙을 생성하는 알고리즘에 대해서 살펴보고, 실제 ㅊ은행과 거래하는 외부감사를 받는 제조 기업을 대상으로 부실 기업을 예측하는 규칙 추출 모형을 구축하였다. 먼저 문헌을 통한 규칙 추출 알고리즘 연구하고 신경망과 의사결정나무에 대해서 알아보고 NeuroRule 알고리즘을 이용한 신경망으로부터의 규칙 추론 방법에 대해서 정리하였다. 또한 규칙 도출의 벤치마킹으로 많이 사용되는 의사결정나무를 통해 생성된 규칙과 예측 정확성, 전체적인 규칙의 수 측면 등을 비교해보았다. 모형 구축 결과 NeuroRule 알고리즘에 의해 생성된 규칙과 가지치기 한 후 신경망 자체의 적중률과 큰 차이가 없었으며, NeuroRule 규칙을 사용하여 모형에 사용된 데이터와 사용하지 않았던 데이터의 적중률 평가해 본 결과 그 또한 큰 차이가 없었다. 이는 NeuroRule 알고리즘으로 도출한 규칙들이 신경망을 잘 설명하고 있음을 의미한다. NeuroRule 알고리즘을 사용하여 신경망으로부터 결과 예측에 대한 이해 가능한 규칙을 도출하게 되면 신경망의 설명력을 제고 할 수 있다는 점에서 그 의의가 있다. 따라서 신경망으로부터의 규칙 도출 가능성은 분류와 예측의 정확성 측면에서는 뛰어나지만 사용자가 쉽게 이해할 수 없어 그 사용이 매우 제한적이었던 신경망의 사용 범위를 넓힐 수 있게 된다.