A study on robust regression estimators in heteroscedastic error models

Abstract

Weighted least squares (WLS) estimation is often easily used for the data with heteroscedastic errors because it is intuitive and computationally inexpensive. However, WLS estimator is less robust to a few outliers and sometimes it may be inefficient. To overcome robustness problems, Box-Cox transformation, Huber's M estimation, bisquare estimation, and Yohai's MM estimation have been proposed. Also, more efficient estimations than WLS have been suggested such as Bayesian methods and semiparametric methods in heteroscedastic error models. Recently, a new type of weighted regression method applicable to the heteroscedasticity patterns including buttery-distributed residuals and megaphone-shaped residuals is proposed. In this paper, we review heteroscedastic regression estimators related to robust or efficient estimation and describe their properties. We carry out simulations and compare Bayesian estimation, semiparametric estimation and WCEV. Also, we analyze cost data of U.S. Electricity Producers in 1955 using the methods discussed in the paper. A Part of this paper is published in KDISS (Son and Kim(2017), Journal of the Korean Data & Information Science Society, 28(5), 1191-1204). ;가중최소제곱법은 회귀분석에서 이분산성을 보이는 데이터를 다룰 때 쉽게 적용되고 있는 방법이다. 가중최소제곱법은 그 개념이 직관적이고 계산이 간단하지만, 소수의 이상치들에 영향을 받기 쉬우며 추정량의 유효성(efficiency)을 보장하지 않는다. 보다 범용성 있는 추정 방법으로서 Box-Cox 변환법, Huber’s M 추정, Bisquare 추정, Yohai’s MM 추정 등이 제안되었고 널리 사용되어 왔다. 이에 더불어, 오차분산모형을 동반하는 이분산 회귀모형의 모델링과 추론에서 일반적인 가중최소제곱법에 비해 더욱 유효한 추정량을 제시하는 베이지안 이분산 회귀 모형과 준모수적 방법 등이 개발된 바 있다. 최근에는 가중치 계산에 외생변수를 도입하여 나비모양이나 메가폰 모양 등의 이분산 패턴에 적용할 수 있는 새로운 가중회귀분석이 제안되었다. 이 논문에서는 이분산 회귀 모형 추정에 적용 가능한 범용 추정방법들과 유효 추정방법들을 검토하였다. 시뮬레이션을 통해 베이지안 방법론과 준모수적 추정방법, WCEV를 비교하고, 이상에 제시된 모든 방법론을 적용하여 1955년 미국의 전력 공급업체들의 가격 데이터를 분석하기로 한다. 이 논문 내용의 일부는 한국데이터정보과학지(Son and Kim, Journal of the Korean Data & Information Science Society, 2017, 28(5), 1191-1204)에 게재되었다.