Historical Data Embedding Using Hopfield Networks in Reinforcement Learning-Based Recommender Systems

Abstract

In this study, we investigate a novel approach to utilize all past information in a reinforcement learning-based recommender system instead of using only limited current information. Specifically, we aim to enhance the performance of recommender systems by using FrozenHopfield, an advanced model of Modern Hopfield Networks, which can consider past interactions between users and systems as states in a reinforcement learning model. To this end, we propose the TH-Rec model, which integrates FrozenHopfield with Transformer-XL that can effectively compress past information, examine their applications in recommender systems, and study how to apply them to a reinforcement learning-based recommender system model. In addition, we validate our approach using the KuaiRec dataset from Kuaishou, a popular short video platform, and compare the TH-Rec model's performance against other existing recommendation algorithms. The experimental outcomes indicate that the TH-Rec model significantly surpasses the baseline models, highlighting the advantages of using Hopfield Network in reinforcement learning-based recommender systems for historical data embedding. This research extends the potential of Hopfield Networks in the field of recommendation systems and reinforcement learning and is expected to make important contributions to related research in the future.;본 연구에서는 강화학습 기반 추천시스템에서 제한적인 현재 정보만을 사용하는 것이 아닌 지난 과거의 모든 정보를 활용하는 새로운 접근법에 대해 연구한다. 구체적으로, 과거에 발생한 사용자와 시스템 간의 상호작용을 강화학습 모델 내 상태에서 고려할 수 있는 Modern Hopfield Network의 발전된 모델인 FrozenHopfield를를 이용하여 추천 시스템 성능을 개선하고자 한다. 이를 위해 FrozenHopfield와 Transformer-XL을 통합한 TH-Rec 모델을 제안한다. 이 모델은 과거 정보를 효과적으로 압축하고, 추천 시스템에서의 응용 사례를 조사하며, 강화학습 기반 추천 시스템 모델에 적용하는 방법을 연구한다. 또한, 짧은 영상 플랫폼인 Kuaishou에서 제공하는 KuaiRec 데이터셋을 사용하여 제안한 TH-Rec 모델의 성능과 기존의 추천 알고리즘의 성능을 비교하여 검증한다. 실험 결과, TH-Rec 모델은 기존의 기준 모델들보다 높은 성능을 보여주었으며, 이는 강화학습 기반 추천 시스템에서 Hopfield 네트워크를 활용해 과거 정보를 통합하는 것의 장점을 강조한다. 본 연구는 추천 시스템과 강화학습 분야에서 Hopfield 네트워크의 활용 가능성을 확장하며, 향후 관련 연구분야에 중요한 기여를 할 것으로 기대된다.