On model selection with data-adaptive penalty

Abstract

모델선택 과정에서 패널티 λ는 모델의 사이즈가 커지는 것을 조절해서 적절한 크기를 갖게 하는 역할을 한다. AIC (Akaike's Information Criterion)나 BIC (Bayesian Information Criterion) 등의 지금까지 널리 쓰이는 모델선택 프로시져는 패널티 λ가 고정된 상수값을 가진다. 이러한 고정된 상수 패널티를 갖는 모델선택 프로시져는 한 가지 상황에서만 좋은 효율성을 가진다는 단점을 가지고 있다. 예를 들어, 패널티 λ 의 값이 큰 BIC는 크기가 작은 모델에서 뛰어난 효율성을 가지며, 상대적으로 크기가 큰 모델에서는 효율성이 떨어진다. 반대로, 패널티 λ의 값이 작은 AIC는 크기가 큰 모델에서 뛰어난 효율성을 가지며, 크기가 작은 모델에서는 효율성이 떨어진다. Xiaotong and Ye (2002) 는 데이터에 따라 변동하는 패널티 λ를 사용하는 모델선택 프로시져를 제안했다. 이것은 기존의 고정된 패널티 λ를 갖는 모델선택 프로시져들의 가장 큰 단점을 보완하고, 각각의 프로시져들의 장점만을 수용하는 결과를 가져오게 되었다. 즉, 한 가지 상황에서만 잘 수행되던 프로시져들이 여러 가지 다양한 상황에서도 효율적으로 수행하게 되었다. 이 논문은 Xiaotong and Ye (2002)가 제안한 모델선택 프로시져의 효율성을 시뮬레이션을 통해 확인하고자 한다.;A fixed penalty to control their increasing size of the model is used in most popular model selection procedures, such as AIC (Akaike's Information Criterion), BIC (Bayesian Information Criterion). But these model selection procedures with non-adaptive fixed penalty performs well only in one type of situation. For instance, BIC with a large penalty performs well in "small" models and poorly in "large" models. And AIC does just conversely. Afterwards, Xiaotong and Ye proposed new model selection procedeure to revise the weakness of the non-adaptive model selection procedures. They use the data-adaptive complexity penalty based on a concept of generalized degrees of freedom. The proposed procedure, combining the benefit of a class of non-adaptive procedures, approximates the best performance of the class of the procedures across a variety of different situations. The class includes AIC, BIC, etc. This article is supposed to show the effectness of data-adaptive penalty comparing non-adaptive penalty with simulation example.