개인 사용자 및 그룹 선호도를 고려한 강화학습 기반 추천 시스템

Abstract

The cold start problem is that it is difficult for new users to obtain personalized recommendation when they enter the recommendation system for lacking users’ past behavioral data. Usually, recommendations are based on user statistics or popular products. However，neither can solve the cold startup problem and carry out personalized recommendations. Therefore, the recommendation system based on reinforcement learning can effectively solve the cold start problem, which can learn and reach the optimal recommendation strategy by constantly searching users and collecting their feedback. Thus it can make personalized recommendation that maximizes long-term benefits. However, until now, most studies have focused only on individuals, with only a few study the user groups that has the greatest impact on users' behavior. Therefore, in this paper, a recommendation system based on reinforcement learning is put forward, which can not only strengthen the influence of individuals, but also promote the influence of user groups on personalized recommendation. In this paper, the recommendation model consists of two types of DDPG networks: personal users and user groups are modeled separately to gain users’ preferences. The personal network identifies individual users' preferences and captures changes. The Group network identifies and presents groups’ trends and preferences. With Double network, users can have access to accurate personalized recommendation even in data scarcity.;Cold-start 문제는 새로운 사용자가 추천 시스템에 처음으로 진입할 때 사용자의 과거 행동 데이터가 없으므로 개인화 추천이 이루어지기 힘들다는 점을 가리킨다. 일반적으로 사용자 통계 정보를 활용하거나 인기 아이템 기반으로 추천하는 방법도 있지만 이는 맞춤형 추천이라고 볼 수는 없다. 이때, 강화 학습 기반 추천 시스템은 Cold-start 문제를 효과적으로 해결할 수 있으며 지속적인 탐색과 사용자 피드백 수집을 통해 최적의 추천 전략으로 학습되어 장기적 이익을 극대화하는 개인화 추천이 이루어진다. 하지만 현재까지 대부분 연구들은 개인적 특성에만 집중되어 있고 사용자 행동에 가장 높은 영향을 미치는 집단 연구는 극소수였다. 따라서 본 연구에서는 개인뿐만 아니라 사용자 그룹의 영향력을 고려한 강화학습 기반 추천 시스템을 제안하고자 한다. 추천 프로세스는 개인 사용자 기반과 사용자 그룹 기반의 두 가지 DDPG네트워크로 나누어지며 선호를 도출하기 위해 각각 모델링을 실행한다. 개인 사용자 기반 네트워크의 경우 개인 사용자의 선호를 파악하고 변화를 캡처한다. 사용자 그룹 기반 네트워크의 경우 현재 유행중인 이슈, 트렌드를 파악하고 추천에 반영한다. 이처럼 이중 네트워크를 적용함으로써 데이터 희소성과 상관없이 능동적으로 사용자에게 맞춤형 추천을 제공할 수 있게 된다.