Visualizing Projection Pursuit Regression Tree Using XAI Approach

Abstract

The projection pursuit regression tree (Cho and Lee, 2021; PPtreereg) explores the independent variable space in each range of the dependent variable. PPtreereg uses projection pursuit linear combination of independent variables to split the node instead of using one single independent variable. It provides several methods of assigning values to the final node to improve predictive power. For the global model explanation, the information provided by the projection pursuit coefficients of each node is summarized and visualized. For the local explanation, we propose a method to demonstrate the rationale for the individual prediction of PPtreereg using eXplainable Artificial Intelligence (XAI) techniques. In recent years, there has been a growing body of research uncovering what is going on behind the black box using AI algorithms. There are two representative XAI methods. The LIME method for making local agnostic explanations, and the SHAP method related to the contribution to game theory. KernelSHAP is one of the widely used XAI methods for the local explanation, and it replaces the weights of LIME with Shapley value in combined form of two methods to estimate the contribution of variables for each observation faster and more accurately. PPKernelSHAP is a method modifying the KernelSHAP to fit PPtreereg structure. The PP SP-LIME algorithm is proposed to select observations with different features and important information for each final node based on the Submodular Pick algorithm. The selected data is presented as an auxiliary means to determine the reliability of the model. All R function codes and data used in this paper are packaged and distributed in the form of PPtreeregViz R package. By using simulation and insurance dataset to demonstrate the main advantages of PPtreereg’s interpretability and predictability.;사영 추적 회귀 나무는 (Cho and Lee, 2021; PPtreereg) 종속 변수의 각 범위에서 독립 변수 공간을 탐색하고, 노드 분할 시 하나의 독립변수만이 아닌 여러 독립변수들의 선형조합인 사영 추적을 사용한다. 본 연구에서는 PPtreereg 모델의 전역적인 설명을 위해 각 노드의 사영 추적 계수가 제공하는 정보를 요약하여 시각화하는 방법을 제시하였다. 또한 지역적인 설명을 위해 설명 가능한 인공 지능(XAI) 기법을 사용하여 모델에 대한 개별 예측 근거를 설명하는 방법을 제안하였다. 본 논문에서는 XAI의 대표적인 두 가지 기법으로 지역적이면서 불가지론적인 설명을 위한 LIME기법과 게임이론의 기여도 분배와 관련한 SHAP기법을 소개하였다. Kernel SHAP는 이 두 기법을 결합한 형태로 LIME의 가중치를 Shapley값 형태로 치환하여 각 관측치 별 변수의 기여도를 더 빠르고 정확하게 추정한다. 본 연구에서는 KernelSHAP 방식을 PPtreereg에 맞게 수정하여 PPKernelSHAP를 제안하였다. 또한 최대한 특징이 다르면서 중요정보만을 담고있는 관측치 데이터를 선택하는 Submodular Pick 알고리즘에 착안하여 각 최종노드별로 확장시킨 PP SP-LIME 알고리즘을 개발하였고 이렇게 선택된 데이터로 모델의 신뢰성에 대해 판단하는 보조수단으로 사용하는 것을 제안하였다. 시뮬레이션 데이터와 의료보험 데이터를 사용하여 PPtreereg모델의 해석력과 예측력의 강점을 보여주었고, 관련 코드들과 예시 데이터는 CRAN을 통해 배포하였다.