Visualization of Bayesian Additive Regression Tree Models Using SHAP Based XAI Approach

Abstract

The Bayesian additive regression tree (BART) model is a tree ensemble method constructed as a sum of probabilistically generated trees, with model complexity controlled through a prior distribution. In addition to predicted values, it provides information about uncertainty via posterior distributions. The BARP model, which applies post-stratification to the BART model, offers stable predictions in strata where estimation is not feasible due to small sample sizes. This study focuses on BART and BARP among Bayesian models and applies SHAP (SHapley Additive exPlanations), an explainable artificial intelligence (XAI) technique capable of both global and local explanation, to assess the contribution of explanatory variables to predictions. The contribution of each variable is computed without requiring additional sampling using the Bayesian posterior samples obtained during model estimation. To implement this approach, the bartXViz package was developed and released on CRAN. Using bartXViz, Local explanation is examined by analyzing the contribution of each variable to the prediction for a single observation. Two summarization methods are proposed for global explanation: one based on individual observations and the other on posterior samples. By applying the proposed approach to real data, the contribution of each explanatory variable in the BART and BARP models is explored through various methods, allowing for a visual examination of both the ranking of important variables and the variability in their contributions to prediction.;베이지안 가법 회귀모형(BART)은 확률적으로 생성되는 나무 모형들의 합과 사전분포의 통제를 통해 생성되는 트리 앙상블 모형으로, 예측 값과 더불어 사후분포를 통한 불확실성에 대한 정보를 제공한다. BART 모형에 사후 계층화(Poststratification)를 적용한 BARP 모형은 표본크기가 작아 개별 층에서의 추정이 불가능한 상황에서도 안정적인 예측치를 제공하는 장점을 가진다. 본 연구에서는 베이지안 모형 중 BART와 BARP에 초점을 맞추어 설명 변수들의 예측의 기여도를 확인하고자 설명가능한 인공지능 (XAI)방법 중 전역적 및 국소적 설명이 가능한 SHAP를 적용하였다. 모형 추정 시 사용되는 베이지안 사후표본을 이용하여 별도의 추가적인 샘플링 없이 변수 별 기여도를 추정하였다. 또한 각 모형에 대한 기여도 추정을 위한 bartXViz를 개발하였다. bartXViz는 하나의 관찰치에 대한 변수별 기여도를 바탕으로 국소적 설명을 제공하며, 전역적 설명을 위하여 기여도의 요약 방법에 따라 관찰치 기준과 사후 표본 기준의 두가지 방법을 제안하였다. 실제 데이터에 적용하여 BART와 BARP 모형에서 각 설명 변수들의 기여도를 다양한 방법으로 살펴봄으로써, 예측에 영향을 주는 변수의 중요도와 기여도의 변동성의 정보를 시각적으로 확인하였다.