A Sparse Directional Regression Method for Variable Selection Using the ADMM Approach

Abstract

The exponential expansion of contemporary data accentuates the significance of research in dimension reduction. Sufficient dimension reduction concentrates on recovering the conditional distribution relationship between a response and a predictor while minimizing information loss. Noteworthy techniques in this domain include Sliced Inverse Regression (SIR), Sliced Average Variance Estimation (SAVE), Directional Regression (DR), and Fourier Transform (FT), among others. In this study, we address the interpretability challenge associated with sufficient dimension reduction by introducing a novel regularized method. This approach allows us to identify important variables while preserving the beneficial properties of sufficient dimension reduction. Diverging from conventional variable selection methods like Lasso, our method excels in variable selection, proving its efficacy even in nonlinear datasets. While research on sparse sufficient dimension reduction has predominantly favored SIR, we opt for DR. We fine-tuned the beta parameter in DR using the Iterated Alternating Direction Method of Multipliers (ADMM) algorithm, incorporating a penalty term to encourage sparsity. The performance of Sparse ADMM-DR was validated through simulations and real data application. ;현대 데이터는 급속하게 증가하고 있으며 이에 따라 필요한 정보를 추출하는 요구가 많아지고 있다. 이는 차원 축소 연구의 중요성을 보여준다. 본 연구는 특히 충분 차원 축소에 초점을 맞춘다. 충분 차원 축소는 독립 변수와 반응 변수와의 관계를 고려하여 차원 축소를 진행하기 때문에 반응 변수에 대한 정보 손실을 최소화한다. 대표적인 충분 차원 축소 방법론으로는 Sliced inverse regression (SIR), Sliced average variance estimation (SAVE), Directional regression (DR), Fourier Transform (FT) 등이 있다. 그러나 이러한 차원 축소 연구는 모형 결과 해석의 어려움이라는 한계를 지니고 있다. 차원 축소 과정에서 새롭게 생성된 변수는 모든 변수들의 선형 결합으로 이루어지기 때문이다. 이 문제를 해결하기 위해 규제화 회귀의 개념을 충분 차원 축소에 적용하여 예측에 중요한 변수를 식별하고자 하였다. 이는 라쏘와 같은 기존의 변수 선택 방법과 달리 차원 축소를 통해 변수를 선택하고 비선형 모형에도 적용 가능하다는 이점을 지닌다. 희소 충분 차원 축소 방법론에 대한 연구는 꾸준히 진행되었지만 주로 SIR에 초점이 맞춰져 있었다. SIR과 비교하여 계산 속도가 빠르고 높은 정확도를 가진 DR 방법론에 대한 관심이 적었기에 이에 대한 연구를 진행하고자 하였다. 시뮬레이션과 데이터 적용을 통해 본 연구에서 제시한 Sparse ADMM-DR의 성능을 검증하였으며, 모든 연구 과정은 R을 통해 진행하였다.