CNN-LSTM Hybrid Approach for Aspect-based Sentiment Analysis

Abstract

Aspect-Based Sentiment Analysis (ABSA)은 특정 범주를 식별하고 각 측면에 해당하는 극성을 할당하여 고객 리뷰 또는 의견과 같은 텍스트에 대한 보다 세밀한 분석을 제공하는 새로운 자연어 처리 접근법이다. 예를 들어, "The waitress was kind but I did not appreciate the food"와 같은 진술에서 ABSA는 각각 “waitress”과 “food”에 속하는 “waitress”와 “food” 과 같은 측면 용어를 식별하는 데 도움을 줄 수 있다. 일반적으로 ABSA를 수행하는 데 사용되는 데이터 말뭉치는 일부 특정 주제에 대한 검토입니다. 실제로 정보통신기술(ICT)의 발달로 인터넷 접속이 쉬워져 온라인 리뷰를 통해 경험을 공유할 수 있는 기회가 생겼다. 또한, 사람들은 인간의 판단에 더 높은 가치를 두기 때문에, 리뷰는 점점 더 중요해지고 있으며, 이는 ABSA를 통해 리뷰를 분석하는 데 도움이 될 수 있는 성능 모델을 구축하는 것을 흥미롭게 만든다. 더욱이, 과거 논문을 기반으로 하이브리드 모델이 서서히 도입되고 있으며, NLP 작업에 있어서는 어떻게든 성능이 좋은 것으로 알려져 있다. 따라서 본 연구에서는 LSTM과 결합된 CNN을 사용하여 개발된 하이브리드 방법을 제안하였다. 수많은 컨볼루션 커널을 가진 CNN은 로컬 기능을 적절하게 검색할 수 있는 기술이다. 반면에 LSTM은 장기 메모리를 유지하고 시간에 따른 그레이디언트 역 전파를 관리할 수 있는 용량으로 인해 긴 시퀀스를 성공적으로 처리할 수 있다. 그 결과, 제안된 모델이 우수한 성능 정확도를 얻었을 뿐만 아니라 기준선 CNN 및 LSTM 모델보다 성능이 우수하다는 것을 입증했다. 교육 데이터 양과 에폭스가 증가함에 따라 뛰어난 성능이 향상되었다.;Aspect-Based Sentiment Analysis (ABSA) is a novel Natural Language Processing approach that provides a more fine-grained analysis of a text such as customer reviews or comments with the identification of specific categories and the assignment of the corresponding polarity to each aspect. For example, in a statement such as: “The waitress was kind but I did not appreciate the food", ABSA can help identify aspect terms such as ‘waitress’ and ‘food’ which belong to the aspect categories“staff” and “food” respectively. Usually, the data corpora used to perform ABSA are reviews based on specific topics. In fact, with the advancement of ICTs, people have easier access to the internet which gives them the opportunity to share their experiences through online reviews. Plus, people place a higher value on human judgment, consequently, reviews have become more and more important which makes it interesting to build performant models that can help analyze those reviews through ABSA. Moreover, based on past papers, Hybrid models are slowly being introduced, and they are somehow known to perform well when it comes to NLP tasks. Therefore, we proposed in this study a hybrid method that has been developed using CNN combined with LSTM. CNN with numerous convolution kernels is a technique that can adequately retrieve local features. On the other hand, LSTM can handle lengthy sequences successfully due to its capacity to retain long-term memory and manage gradient backpropagation across time. As a result, we have proven that our suggested model not only obtained a great performance accuracy but also outperformed baselines CNN and LSTM models. Its outstanding performance improved as the training data amount and epochs increased.