BIG-SAVE

Abstract

In regression analysis, sufficient dimension reduction (SDR) methods such as sliced inverse regression (SIR) and sliced average variance estimation (SAVE) have been studied for several decades to prevent the curse of dimensionality. However, massive data causes difficulty in loading or directly estimating the SDR direction β . Referring to the study by Liquet and Saracco (2016), this paper suggests an extending SAVE method to increase computational efficiency. This approach splits the data into subsets and calculates the SAVE estimation in each of them. Based on the proximity between the directions, we combine them to get the net estimator. The estimating step on each subset can be processed in parallel, giving a chance to improve the performance. The method was implemented in R software using edrGraphicalTools R package, and additionally, we introduced foreach and bigmemory R packages for more efficiency. The article presents the simulation study and the application to apartment data.;회귀분석에서 차원의 저주와 같은 문제는 중요하게 다루어지며, 이를 해결하고자 Sliced Inverse Regression (SIR), Sliced Average Variance Estimation (SAVE) 등의 충분차원축소 (SDR) 방법이 연구되어 왔다. 하지만 데이터가 단일 컴퓨터에 불러올 수 없는 수준으로 커지면 SDR 방향 β를 추정하는 일 또한 까다로워진다. 이에 divide-and-conquer 알고리즘을 이용해 대용량 데이터에 효율적으로 SIR을 적용하기 위한 연구가 진행된 바 있으며 (Liquet & Saracco, 2016), 본 연구에서는 같은 방법을 SAVE에 적용하였다. 해당 방법론에 따라 데이터를 소그룹으로 나누고 각 그룹에서 SDR 방향에 대한 SAVE 추정치를 계산한 뒤, 그들 간 거리를 최적화하여 재결합함으로써 최종적인 추정치를 결정한다. 이때 그룹별로 이루어지는 연산은 병렬 처리할 수 있으므로 이를 통해 계산 효율을 더욱 높일 수 있다. 모든 과정은 R 소프트웨어를 사용하였다. SAVE 연산에는 edrGraphicalTools R 패키지를 이용하였으며, foreach와 bigmemory R 패키지를 활용해 계산 속도와 메모리 효율을 상승시키는 방안을 소개하였다. 또한, 제안한 방법론에 관한 시뮬레이션 결과와 아파트 매매 내역에 이를 적용한 분석 결과를 제시했다.