A Study of Hyperparameter Optimization Algorithms Applied to LSTM in Financial Time Series Forecasting

Abstract

금융 시계열 데이터는 변동성이 크고 잡음이 많아 예측과 분석이 매우 어렵다. 대표적인 딥러닝 모델 중 하나인 Long Short-Term Memory (LSTM) 네트워크는 시계열 데이터 내의 복잡한 패턴을 감지하고 학습하는데 뛰어난 성능을 보이는 것으로 알려져 있다. 그러나 LSTM 네트워크를 사용하기 위해서는 다양한 하이퍼 파라미터들을 사전에 설정해야 한다. 하이퍼 파라미터는 네트워크의 훈련 결과에 많은 영향을 미치기 때문에 이를 적절히 선택하는 것이 매우 중요하다. 하이퍼 파라미터의 선택과 조정은 자동화된 알고리즘을 이용한 접근법을 취함으로써 성공적으로 해결할 수 있는 블랙박스 최적화(BBO) 문제로 간주할 수 있다. 본 연구에서는Gaussian Process기반 Bayesian 최적화 (GP-BO), Tree-structured Parzen Estimator (TPE), Covariance Adaptation Matrix Evolutionary Strategy (CMA-ES) 등 3가지 하이퍼 파라미터 최적화 알고리즘을 KRW/USD 현물환율, 코스피 지수와 단기금리 KORIBOR 3M데이터에 적용하여 성능을 평가하고 비교한다. 실험 결과 메트릭과 개선 속도에 관해서는 TPE 알고리즘이 가장 좋은 성능을 보이는 것으로 나타났으며 실험 결과의 변동성 또한 가장 낮은 것으로 나타나 성능의 일관성을 입증했다. GP-BO는 훈련 조치와 최적화 실행 시간을 고려할 때 CMA-ES를 능가하는 것으로 나타났지만, 검증 데이터에 적용했을 때에는 과잉 적합의 징후를 보였다. 이에 반해 CMA-ES는 학습 속도는 느리지만 예측 결과의 일관성과 우수성을 보장하는 것으로 나타났다.;Financial time series forecasting has attracted much attention from both statistical and machine learning perspectives due to the data’s high volatility and noise levels. Long Short-Term Memory (LSTM) networks have proved successful when modeling such data managing to detect and learn complex patterns. Yet, LSTM networks are not intuitive to apply since they require the tuning of several hyperparameters, which heavily influences the network’s training making it a critical step when aiming for a state of-the-art performance. The selection and tuning of hyperparameters can be considered as a black-box optimization (BBO) problem, that can be successfully addressed by taking an automated algorithmic approach. In this work, we evaluate and compare the performance of 3 hyperparameter optimization algorithms; Gaussian Process based Bayesian optimization (GP-BO), Tree-structured Parzen Estimator (TPE), and Covariance Adaptation Matrix Evolutionary Strategy (CMA-ES) applied to financial time series data, mainly KRW/USD spot exchange rate, KOSPI Index, and short-term interest rate KORIBOR 3M. Results in this work show that, on one hand, TPE achieves the overall highest performance with respect to both in-sample and out-of-sample metrics, as well as the speed of optimization. It also exhibits a consistent performance showing a comparatively low trial-to-trial variability when applying a 10-fold cross validation for generalization purposes. On the other hand, GP-BO is shown to outperform CMA-ES when considering the training measures and the optimization running time, but it shows signs of overfitting when applied to the hold-out data. CMA-ES, however, manages to provide a good out-of-sample prediction quality despite a much slower process.