Variable Selection using Bayesian Neural Network

Abstract

Since the number of variables affects the accuracy of model by bias-variance trade-off, variable selection is one of the important issues in Statistics. Therefore, in this paper, we briefly explain the variable selection methods that are widely used – Stepwise, Least Absolute Shrinkage and Selection Operator(LASSO). Then, we introduce relatively new method Bayesian Neural Network(BNN) in Chapter 2. When analyzing, we used BNN, which is an open source package of R. The usages and details are introduced in Chapter 3. In Chapter 4, we compare Stepwise and LASSO, a typical frequentists method, with BNN to figure out the important variables of each method by analyzing Topotecan and game user data of “League of Legend(LOL)”. First, using Topotecan data, we find out which model chooses the most variables and which chooses the least. This result shows the variables that are mostly effect on the drug response by finding the variables that are included in all three models. Then, we compare the values of score and RMSE of each model. Finally, using these three methods presented above, we find the variables that affect the winning or losing of the game by analyzing the game user data of LOL which is representative game of RIOT GAMES. As interest in e-sports increases, game companies are also actively trying to help players establish strategies by releasing their data. Based on these needs, we figure out and analyze variables that affect the game.;최근 통계 분석 시, 모형에서의 변수의 수가 모형의 정확도에 큰 영향을 미치기에 변수 선택은 통계학에서 중요한 문제 중 하나이다. 따라서 본 논문에서는 기존에 널리 사용되었던 변수 선택 방법인 Stepwise와 LASSO에 대해 간략히 소개 후, 베이지안 방법론을 이용한 변수 선택법인 Bayesian Neural Network(BNN)에 대해 소개한다. 그 후, Topotecan 데이터와 게임 “리그 오브 레전드(League of Legend)” 의 데이터를 이용하여 위에서 설명 한 변수 선택법을 이용하여 각 방법이 선택하는 변수와 각 방법으로 선택된 모형의 정확도를 구하여 어떤 방법이 적은 변수를 선택하면서도 정확한 예측을 하는지 알아본다. Topotecan 데이터 분석 시, 정확도를 구하기 위해 각 모형의 결정계수 값과 RMSE를 이용하여 비교하고, 게임 데이터를 위해서는 민감도를 이용한다. 이러한 분석 결과, BNN의 경우 데이터의 변수 개수가 많으면서도 선형관계가 아닐 경우 다른 방법론에 비해 정확히 예측함을 알 수 있다.