Evolutionary Deep Learning Approaches for Financial Prediction

Abstract

Recently, artificial intelligence (AI) technologies have attracted critical attention because of their practical applications in various fields. In the history of AI, deep learning techniques such as deep belief networks (DBN), convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been considered a key factor in this prosperity. Deep learning is a type of artificial neural networks (ANNs) that has many hidden layers between the input and the output layers. Deep learning not only increases the complexity of the model but also assigns an appropriate role to each neuron for the purpose of analysis; therefore, it can effectively solve the target problems that could not be solved using traditional neural network models. This study applies deep learning techniques to the financial prediction problems. The financial market is known to be very difficult to predict and analyze because of the nature of its noisy and nonlinear environment. Traditionally, researchers usually adopted a variety of statistical and machine learning approaches including ANN and support vector machine (SVM). However, these methods had limitations in achieving good performance, because the financial market has numerous factors affecting its volatility and it is not easy to capture the nonlinearity of these factors. In the financial field, there are great opportunities to derive valuable insights by using deep learning techniques with its great ability in learning features. Accordingly, this dissertation suggests various novel financial forecasting models using deep learning techniques which have improved prediction performance in various research fields. Furthermore, we aim to optimize the deep learning architecture to improve the model performance. Many studies have demonstrated the efficacy of deep learning techniques, but there are several shortcomings in building and using these techniques. First of all, it is not easy to determine a suitable model which can reflect nature of problem and learn data patterns, because there are numerous controlling parameters. However, most of the existing studies tend to depend on trial-and-error-based methods, and such methods are more of an art than a science. Therefore, here, we propose a method to systematically optimize the parameters for the deep learning models by using genetic algorithm (GA). GA is exploited in the search of optimal hyper-parameters for the deep neural network. Many studies have applied GA in conjunction with other AI and machine learning techniques, but few studies have attempted to integrate the GA and deep learning models despite a great potential for effective applications in this area. For this reason, this dissertation suggests GA-based deep learning techniques to automatically discover the most appropriate set of components for the deep neural networks and the proposed methods are developed in order to solve financial problems.;최근 지속적인 경기침체와 저금리 기조로 금융투자에 대한 관심이 증가하고 있다. 이에 따라 인공지능 기술을 금융 분야에 적용하려는 시도가 꾸준히 이 루어지고 있다. 금융 시장 예측은 통계학, 경제학 등의 분야에서 꾸준히 연구 되어 왔으나 잡음이 극심하고 비선형적인 특성으로 인해 아직까지 예측이 매 우 어려운 영역으로 인식되어 있다. 이에 본 연구에서는 데이터 간의 복잡한 상관관계를 파악하고 학습하는데 뛰어난 성과를 보이는 딥러닝 기법을 금융 예측에 적용한다. 딥러닝 알고리즘은 이미지, 자연어 등 기존의 인공 신경망 모형으로 해결하 기 어려운 정보를 분석하는데 탁월한 성과를 보이고 있으며, 네트워크 구조가 개선되고 새로운 알고리즘이 개발되면서 다양한 분야로 활용 범위를 넓혀가 고 있다. 딥러닝 내에는 주어진 데이터를 효과적으로 처리하기 위한 다양한 파라미터가 존재한다. 입출력변수에 대한 네트워크 구조(network topology), 학습 조건(learning parameter) 등의 선정이 바로 이에 해당한다. 특히, 딥러닝 모형은 내부 계층이 매우 많아, 최적의 네트워크를 구성하기 위해 사전에 연구자가 조정해야 하는 하이퍼 파라미터(hyper-parameter)의 수는 기하급수적으로 증가했다. 하지만 기존 연구들은 수 많은 실험을 바탕으로 한 시행 착오법이나 전문가 노하우에 의존하고 있으며, 이에 대한 체계적인 연구는 부족한 실정이다. 이러한 한계점을 극복하고자, 본 연구에서는 대표적인 서치 알고리즘인 유전자 알고리즘을 이용하여 딥러닝 모형의 구조를 최적화하고 이 를 주가 지수, 부도 위험과 같은 금융데이터에 적용해 예측 성과를 높일 수 있는 방법론을 제시한다. 우선 본 연구에서는 유전자 알고리즘으로 최적화된 LSTM네트워크(long short-term memory network)를 통한주가지수 예측 방법론을 제시하였다. LSTM네트워크는 과거의 정보를 학습에 반영할 수 있는 딥러닝 네트워크 중 하나로, 시계열 데이터에 적용되어 뛰어난 성과를 보인다. LSTM네트워크를 학습시킬 때에는, 과거의 정보를 어느 정도까지 포함시킬 것인지, 즉 타임윈 도우의 크기를 어떻게 설정할지 결정하는 것이 중요하다. 만약 타임윈도우의 크기가 너무 작다면 중요한 정보를 학습에 포함시키지 못할 수 있고, 타임윈 도우의 크기가 너무 크다면 과다한 정보가 학습에 포함되어 잡음이 될 수 있 다. 이에 본 연구의 첫 번째 모형에서는 유전자 알고리즘을 이용해 LSTM네트워크의 타임윈도우의 크기와 은닉층을 구성하는 LSTM유닛의 개수를 최적 화한다. 제안 방법론을 검증하기 위해 한국 주가지수 데이터를 사용하였으며, 실험 결과 유전자 알고리즘을 통해 최적화를 수행한 모형이 비교 방법론에 비 해 뛰어난 성과를 보이는 것으로 나타났다. 두 번째로는 멀티-채널 합성곱 신경망 모형을 이용해 주식 시장의 방향성 을 예측하였다. 유전자 알고리즘을 이용해 합성곱 신경망의 특성 추출 과정을 담당하는 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)에 대한 최적화를 수행했다. 합성곱 계층에서는 커널을 통해 주어진 입력에 대해 패턴을 파악하며 풀링 계층에서는 합성곱 단계에서 탐색된 특징들 중 가장 대 표적인 값을 추출하는 작업을 수행한다. 따라서 커널의 크기는 입력 데이터로부터 주요 특징을 추출하는 데 가장 중요한 역할을 한다. 커널의 크기가 너무 큰 경우 입력 데이터의 세부적인 특성을 고려하지 못하게 되고, 너무 작으면 지나치게 많은 정보를 학습해 혼란을 야기할 수 있다. 따라서 합성곱 신경망 모형의 성과 향상을 위해서는 해결해야 하는 문제가 속한 도메인과 데이터의 특성을 가장 잘 반영할 수 있는 크기의 커널을 사용해야 한다. 하지만 커널 크기를 설정하는 과업은 아직까지 실험을 통해 적합한 값을 결정하는 기술 (art)적인 문제로 남아있으며 이에 대한 체계적인 연구는 부족한 실정이다. 이에 본 연구에서는 유전자 알고리즘을 이용하여 최적의 네트워크 구조를 도 출하고 이를 합성곱 신경망에 적용하여 한국 코스피 지수의 방향성을 예측하 는 통합 방법론을 제시하였다. 제안한 모형의 효과성 검증을 위해 기존 주식 시장 예측 연구에서 보편적으로 사용되었던 인공신경망 모형과 함께 최적화를 수행하지 않은 기본 합성곱신경망 모형의 성능을 비교한 결과 제안 방법론의 성과가 가장 뛰어난 것으로 나타났다. 마지막으로는 유전자 알고리즘으로 네트워크 구조를 최적화한 심층신뢰망을 이용하여 기업의 부도 여부를 탐색하였다. 심층신뢰망은 최초로 연구된 딥러 닝 모형으로 다수의 제약 볼츠만 머신으로 이루어져 있다. 본 연구에서는 심 층신뢰망의 핵심 구성요소라고 할 수 있는 제약 볼츠만 머신의 구조를 최적화 하였다. 이를 통해 잡음이 심하고 비선형적인 특성을 가진 부도예측데이터에 대한 학습 효율성과 예측 성과를 향상시켰다. 본 연구는 유전자 알고리즘으로 딥러닝 네트워크 구조를 최적화함으로써 경영 분야의 중요한 문제 중 하나인 금융 예측의 성과를 높였다. 이를 통해 실제 투자에 필요한 의사결정체계를 효율적으로 개선하는데 기여할 수 있을 것 이라고 기대한다.