An optimal approach of boosting algorithm with nonlinear conjugate gradient method

Abstract

Boosting algorithm has been one of the most powerful algorithms for classification. Many researchers have used boosting algorithm for various applications such as detecting and recognizing faces, recognizing facial expression or speech emotion. There are many studies that analyze Adaboost as an optimization problem related to the margin theory. To achieve better accuracy, boosting algorithm finds out the most successful strong classifier. In the case of Adaboost, the strong classifier consists of the weighted sum of weak classifiers. Finding out the strong classifier corresponds to solving a minimization problem of a convex loss function with non-negativity and affine constraints. To solve the main problem of Adaboost, we proposed an effiecient algorithm using nonlinear conjugate gradient method. In this paper, we review the previous research studies to develop our own algorithm. We introduce basic concepts of Adaboost and a representative application example, face detection. Furthermore, we review a research analyzing boosting algorithm with a dual approach and our previous work using nonlinear conjugate gradient method to solve the main minimization problem.;부스팅 알고리즘은 분류를 하기 위해 사용되는 강력한 알고리즘 중 하나이다. 많은 연구자들이 부스팅 알고리즘을 다양한 응용 사례에 적용했는데, 그 대표적인 예로는 얼굴 감지 및 인식, 얼굴 표정 감지, 그리고 목소리를 통한 감정 인식이 있다. 부스팅 알고리즘을 최적화 문제로 해석하는 많은 연구들이 있으며, 이는 margin 이론과 관련되어 있다. 더 높은 정확성을 위하여, 부스팅 알고리즘은 가장 성공적인 strong classifier를 찾아낸다. Adaboost의 경우, strong classifier는 각각의 가중치가 곱해진 weak classifier들의 합으로 이루어진다. Adaboost는 non-negativity와 affine 조건이 있는 최적화 문제를 푸는 것과 일치한다. 우리는 Adaboost의 주된 문제를 풀기 위해 nonlinear conjugate gradient 방법을 이용하여 더 효율적인 알고리즘을 개발하였다. 이 논문에서는 우리가 새로운 부스팅 알고리즘을 제안하기까지 공부하였던 내용들을 함께 다룬다. Adaboost의 기본적인 개념과 대표적인 응용 사례인 얼굴 감지에 관한 논문을 소개한다. 나아가, Adaboost를 분석하여 dual 문제로 접근해 풀어낸 논문과, nonlinear conjugate gradient 방법을 바탕으로 한 우리의 기존 연구를 살펴본다.