나무구조의 분류분석을 이용한 변수선택방법들에 대한 고찰

Abstract

미리 정해진 범주나 그룹으로 변수를 분류하기 위하여 사용하는 분류분석 방법 중 가장 널리 사용되고 있는 방법은 의사결정나무이다. 이 방법은 분류가 쉽고 해석이 용이하다는 점에서 널리 사용되나 각 가지치기에서 하나의 변수만을 사용하고 자료가 조금이라도 변한다면 분류의 정확성이 떨어지는 경향이 있다. 이를 보완한 랜덤포레스트 방법은 의사결정나무에 비해 예측력이 뛰어나고 변수들의 중요도에 관한 측도를 계산할 수 있게 해 준다. 또한 사영추적분류나무는 나무구조의 분류분석방법 중 하나로 사영추적(Projection Pursuit)계수를 이용하여 분류를 위한 변수 선택의 중요도를 계산하고 의사결정나무(Tree)형태로 나타내는 방법이다. 본 논문에서는 고차원의 자료에서 관심 있는 낮은 차수의 사영을 찾기 위해 사영추적지수를 정의한다. 그리고 이를 최적화 시켜주는 새로운 변수를 찾고 이를 이용하여 각 마디를 분류하는 사영추적분류나무와 위에서 언급한 의사결정나무, 랜덤포레스트를 변수선택의 관점에서 비교, 분석해 보고 변수선택에 일반적으로 많이 쓰이고 있는 일반화가법모형과의 결과와 비교해 보고자 한다. 10개의 실제 자료에 위의 방법들을 모두 적용하여 결과를 비교, 분석하였다.;CART is the most widely used method for classification. It is easy to understand the structure of classification. However it is very unstable. Random Forest solves this problem using sampling technique. This method presents highly accurate prediction and produces the importance measure of each variable. Projection pursuit classification tree (PPtree) is also one of tree structured classification method and uses projection pursuit method. In each node, PPtree finds a low-dimensional space which shows separated classes. In this situation, we can use projection pursuit coefficients in each node as a measure of importance in variable selection. In this paper, we compared these tree-structured classification methods in variable selection viewpoints. We also compared these results with the result from the generalized additive model. We apply all these methods to 10 real dataset and compare and analyze the results from each method.