Simulation study를 통한 Accelerated EM algorithm의 비교

Abstract

EM algorithm has been used widely as a ML estimation method since it published at 1997. Many people have used this algorithm because its properties that firstly, its performance is good, secondly the value of likelihood always increases rather than former iteration and finally, the algorithm always converges. However many users said its slow rate of convergence. Thus many algorithms that tried to improve its rate of convergence has been announced. On this paper, among those many algorithms, four papers have been introduced briefly. These are introduced algorithm that ECM, ECME, PX-EM, and the algorithm presented at Japan. ECM, ECME algorithm are kind of GEM algorithm, Maximization step is divided into many steps and consider not only the likelihood function of E-step but also the likelihood function of observed data. PX-EM algorithm is started at the idea that expanding parameters. And finally, the algorithm announced at Japan by Shiro Ikeda presents the method that estimating new parameter using estimated parameter from the new data which were generated on the base of parameter estimated by EM algorithm. At the end of this paper, the result of simulation for last paper (algorithm by Shiro Ikeda) are presented. The result of simultion shows the new algorithm is faster than EM algorithm.;EM algorithm은 1977년 발표된 이후 ML 추정방법으로서 많은 사람들이 이용해온 algorithm이다. 그 MLE 추정결과가 좋고, 한번의 반복이 끝날 때 마다 그 전에 비해 언제나 우도함수의 값이 증가하고, 언제나 수렴한다는 성질이 증명되었기 때문에 많은 사람들이 이용해왔으나 항상 지적되어 온 점이 그 수렴속도이다. 따라서 그 수렴속도를 개선하기 위한 algorithm들이 계속 발표되어 왔으며 그 양은 매우 많다. 본 논문에서는 속도개선을 위해 발표된 여러 algorithm들 중에서 4편을 골라 그 간략한 과정을 살펴보았다. 대표적인 accelerated algorithm인 ECM, ECME, PX-EM과 일본에서 발표된 algorithm이 그것이다. ECM과 ECME algorithm은 GEM algorithm의 일종으로서 Maximization step에서 EM에 비해 그 과정이 여러 단계로 나뉘고, E-step에서의 우도함수만 고려하는 것이 아니라 실제 데이터의 우도함수까지 고려하는 algorithm이라 할 수 있다. PX-EM algorithm은 모수를 확장시키자는 아이디어에서 출발된 algorithm이며, 일본에서 발표된 Shiro Ikeda의 algorithm은 EM algorithm에서 추정한 모수를 바탕으로 새로이 데이터를 random하게 생성하여 다시 추정한 모수를 이용, 최종적인 모수를 추정하는 방법을 제시하고 있다. 본 논문에서는 이 네 가지의 algorithm 중에서 Shiro Ikeda의 algorithm을 실제로 구현해보았다. 그 결과는 실제로 EM algorithm보다 빠름을 알 수 있었으며, 그래프를 통해서도 확인할 수 있다.