Dimension Estimation

Abstract

Recently, there are large volume of data, mainly called Big data, accumulated from a variety of industries in real-time and there is need for a method for storing, handling and processing those data have been raised. In addition, there is increasing demand for statistical methodologies to analyze the high-dimensional data including a number of variables. In this paper, Sufficient Dimension Reduction (SDR), method to reduce the dimension without loss of information, is adapted. Also, we used OLS method in SDR and assumed a variety of settings randomly in multivariate regression with singularity constraint. Final goal is to demonstrate optimality of dimension estimation test with singularity which is used to detect true dimension through simulation study.;최근 다양한 산업에서 실시간으로 축적된 정보로 만들어진 대용량 데이터를 다루는 방법들에 대한 필요성이 제기되고 있다. 더불어 많은 변수들을 포함하고 있는 고차원 데이터를 분석하기위한 방법론에 대한 요구도 들어나고 있다. 이때 설명변수가 주어진 상황에서 반응변수의 분포를 추론하고자 할 때 정보의 손실 없이 설명변수의 차원을 축소하는 방법을 충분차원축소(Sufficient Dimension Reduction, SDR) 라 한다. 하지만 이 방법론은 현실에서 흔히 변수 사이의 상관관계가 존재하여 발생하는 singularity 문제를 고려하지 않는다는 한계점이 있다. 따라서 본 논문에서는 이를 극복하기 위해 singularity를 가지는 상황에서도 기존의 방법론을 이용한 차원 추정 검정이 최적성을 유지하는지 확인하였다. 충분차원축소의 대표적인 방법 중 하나인 OLS를 이용하였고, 정규, 지수, t 분포를 따르는 여러 모형을 다양하게 가정하고 여러 번의 모의실험을 진행함으로 차원 추정 검정에 대한 p-값을 도출하였다. 다변량 회귀분석에서 singularity를 가져도 기존의 충분차원축소 방법론에 의한 차원검정의 최적성을 유지하였다. 또한 분포에 상관없이 singularity를 반영해 주는 것이, 또 그 값이 클수록 차원 검정이 효율적임을 확인하였다.