View : 141 Download: 0

Multi-Resolution Bayesian Optimization Method with Maximum Likelihood Estimation of Kernel Parameters

Title
Multi-Resolution Bayesian Optimization Method with Maximum Likelihood Estimation of Kernel Parameters
Authors
최은정
Issue Date
2018
Department/Major
대학원 전자전기공학과
Publisher
이화여자대학교 대학원
Degree
Master
Advisors
김정태
Abstract
In this paper, we investigate two methods for improving the performance of the Bayesian optimization method that has been applied effectively for optimizing an objective function that is not differentiable and is expensive to evaluate. We first study the multi-resolution method that searches parameter space from coarse-to-fine resolution. By doing that, we expect improved capability for exploring the entire parameter space. In addition, we continuously estimate kernel parameters that are used to model objective function by gaussian process. Because we utilize every available data, we think that the performance of the continuous estimation would be improved from conventional methods. In experiments to determine design parameters of a machine vision task and parameters for training a machine learning system, the proposed method showed improved performance compared with conventional methods.;최근 머신 러닝 시스템에 관한 연구가 활발하게 이루어지면서 머신 러닝의 성능에 직접적으로 영향을 주는 네트워크 구조 관련 파라미터, 학습 관련 파라미터 등 다양한 파라미터를 결정하는 방법에 대한 연구가 주목받고 있다 [1-4]. 이러한 파라미터들은 일반적으로 사용자의 경험 및 직관에 의하여 결정된다. 그러나 파라미터 값이 가질 수 있는 모든 경우의 수에 대해 머신 러닝 시스템을 실행하는 것은 많은 연산량과 오랜 연산 시간이 필요하므로 현실적으로 불가능하다. 머신 비전 시스템에서도 불량의 크기에 대한 임계 값과 같이 영상 처리에 관련된 파라미터들이 성능에 큰 영향을 준다. 따라서 머신 비전 시스템의 파라미터를 결정하는 것도 중요한 이슈 중 하나인데, 현재는 사용자가 일부 데이터 셋을 이용하여 머신 비전 시스템의 파라미터를 수동으로 조정한 후, 전체 데이터 셋에 적용하는 방법을 사용한다. 그러나 파라미터 값을 잘못 설정하는 경우 시간적, 금전적 측면에서 많은 손실이 발생하게 되므로 가능한 빠르게 적절한 값을 선택해야 한다. 베이지안 최적화 방법은 최적화 문제를 해결하기 위한 대표적인 방법으로, 목적함수를 확률 모델로 가정하고, 순차적으로 데이터의 출력 값을 관측하여 목적함수를 추정한다. 목적함수의 사전 분포를 가우시안 프로세스로 가정하였을 경우, 베이지안 최적화 방법의 성능은 데이터 간의 상관 관계의 정도를 나타내는 커널 함수와 커널 함수의 파라미터에 의해 큰 영향을 받는다. 본 논문은 시스템의 주요 파라미터 값을 자동으로 설정하기 위해 베이지안 최적화 방법을 적용한다. 베이지안 최적화 방법의 성능을 향상시키기 위해 커널 함수를 고정한 상태에서 순차적으로 데이터를 관측하여 목적함수를 추정함과 동시에 해당 커널 함수의 파라미터 값을 업데이트하는 방법에 대하여 제안한다. 또한 탐색 간격을 단계적으로 설정하여 탐색하는 multi-resolution 방법을 제안한다. 이는 폰 카메라 결함을 검출하는 머신 비전 시스템과, 지폐 시리얼 번호를 분류하기 위하여 설계된 간단한 머신 러닝 네트워크에 적용하여 성능을 검증 한다.
Fulltext
Show the fulltext
Appears in Collections:
일반대학원 > 전자전기공학과 > Theses_Master
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE