A CNN and LSTM-based hybrid deep learning model for Twitter Sentiment Analysis

Abstract

사용자가 많은 Twitter는 대중에게 자신의 생각과 의견을 공유할 수 있는 가장 큰 소셜 미디어 플랫폼 중 하나이다. 다수의 트윗을 분석하여 결론을 도출하고 대중에게 일반화할 수 있으며, 이는 정부 기관과 기업에 필수적인 정보이다. 이에 초점을 맞춘 NLP 과제는 지속적으로 주목받고 있는 자연어 처리과제 감성 분석이다. 감성 분석에서 가장 일반적인 작업은 텍스트 데이터를 양극성으로 분류하여 데이터가 긍정적인지 부정적인지 확인하는 것이다. 텍스트로 된 감정을 구별할 때 사람들마다 의견이 다른 것을 보면 감성 분석은 복잡한 작업이라는 것을 알 수 있다. 결과적으로 인간과 달리 언어의 뉘앙스와 맥락을 파악하지 못하는 기계에게 감성분석은 더욱 어려울 것이다. 특히 뉴스 기사처럼 감정이 암시적이거나 간접적으로 나타나는 영역에서 얕은 머신 러닝 방법을 사용하는 고전적 접근 방식은 더 깊고 숨겨진 의미를 파악하는데 어려움이 있는 것으로 나타났다. 따라서 감정 분석과 관련하여 딥 러닝 접근 방식이 인기를 얻고 있다. 그러므로 LSTM 및 CNN 모델은 NLP 작업에 이미 적용되어 두드러진 결과를 얻었다. 그러나 최근 연구에 따르면 단일 모델과 달리 하이브리드 모델을 적용하면 성능이 향상되는 것을 보여준다. 국부적 특징을 추출할 수 있는 CNN과 단어 시퀀스 간의 장기 종속성을 학습하는 데 탁월한 LSTM의 특유한 조합으로 하이브리드 모델이 일반적으로 사용되는 단일 모델보다 성능이 우수할 것으로 보인다. 이 연구의 결과는 BiLSTM 시스템과 뒤이어 컨볼루션 레이어가 있는 하이브리드 모델이 실제로 단일 모델보다 성능이 우수한 반면, 컨볼루션 레이어가 처음에 배치되면 시퀀스에 대한 정보가 손실되어 CNN-BiLSTM 모델의 성능이 단일 LSTM 벤치마크 모델보다 저하되는 것을 확인할 수 있다.

;Twitter is one of the biggest social media platforms which allows users to share their thoughts and opinions via tweets to a large audience. By analyzing a large number of tweets, conclusions can be drawn and generalized to the population, which is essential information for governmental authorities and businesses. The task focusing on this is sentiment analysis, a natural language processing task constantly gaining attention. Sentiment analysis is a complex task, which is displayed by the fact that even humans disagree with each other when trying to classify sentiments presented in texts. Consequently, it would be even more difficult for machines which do not grasp linguistic nuances and different contexts as well as humans. Especially for domains where sentiments are implicit or indirect, classical approaches of using shallow machine learning methods have been shown to have difficulties detecting deeper meanings. Therefore, deep learning approaches have gained popularity regarding sentiment analysis. LSTM and CNN models have been applied in NLP tasks and achieved outstanding results. However, recent research indicates that the application of hybrid models, as opposed to single models, may result in superior performance. Due to the unique combination of CNN, which is able to extract local features, and LSTM, which excels at learning long-term dependencies between the word sequences, it is suggested that a hybrid model would outperform commonly used single models. The results of this study imply that hybrid models with a BiLSTM system followed by a convolutional layer does, in fact, outperform single models, while information about the sequences gets lost if the convolutional layer is placed initially, leading to the CNN-BiLSTM model underperforming compared to the single LSTM benchmark model.