Risk-Sensitive Strategies for Recommender System Addressing Uncertain Returns

Abstract

There has been a lot of studies about recommender systems and it has achieved significant advancement, from classic approaches such as content-based filtering and collaborative filtering to deep learning-based recommender system. Despite an improvement, these approaches have two common limitations: falling short in capturing dynamic user interactions with recommender systems, and not being able to consider the cumulative future rewards. To address these limitations, research has been widely carried out on recommender systems based on deep reinforcement learning. DRL-based recommender systems is promising, as it enables an agent to adaptively learn from users’ dynamic preferences through real-time feedback. Among various DRL techniques, this study applied actor-critic method, especially DDPG, Deep Deterministic Policy Gradient combined with distributional reinforcement learning. This hybrid method can model the risk-sensitive recommendations by particular quantiles of the distribution. Our study, experimenting the distributional reinforcement learning-based recommender system on real-world datasets in an offline setting shows that integration of DDPG and distributional reinforcement learning algorithm outperforms other multi-critic methods in various performance. Training procedures based on different quantile selections can model different risk-sensitive strategies.;오늘날 추천시스템은 다양한 산업군에서 활발히 활용되고 있다. 추천시스템을 이용하는 기업은 수익률 증가 및 고객 유치 효과를 기대할 수 있고 고객은 다양한 상품을 자동으로 추천 받을 수 있다는 장점이 있다. 과거부터 현재까지 추천시스템에 관한 연구가 지속적으로 이어져오고 있다. 컨텐츠 기반 필터링, 협업 필터링, 딥러닝 기반 추천시스템 등 많은 연구 끝에 추천시스템의 성능이 향상된 건 사실이나 두 가지 공통적인 한계점을 찾을 수 있었다. 추천시스템과의 상호작용을 통해 변화하는 선호도를 반영하지 못 한다는 점과 즉각적인 보상에 초점을 맞춰 장기적인 효과를 간과한다는 점이다. 이를 보완하기 위해 다양한 강화학습 기법들이 추천시스템에 사용되었고, 그 결과 사용자의 선호도를 동적 모델링하여 변화하는 선호도를 반영할 수 있었으며, 즉각적인 보상 뿐만 아니라 누적 보상값까지도 고려하여 장기적인 측면에서 유의미한 성과를 얻을 수 있었다. 본 연구에서는 추천시스템의 추천 과정을 순차적인 의사결정으로 간주하고, 연속적인 행동 공간을 갖는 추천시스템을 강화학습으로 표현하면서도 환경의 불확실성을 고려하기 위하여 DDPG와 분포강화학습 기법 중 하나인 QR-DQN을 결합한 QR-DDPG 방법론을 사용하였다. 실험 결과, precision과 NDCG 측면에서 타 모델과 비교하였을 때 더 좋은 성능을 보였다. 더 나아가, 분포의 분위수 선택에 따른 성능을 비교한 결과, 분포 전체를 고려한 모델의 성능이 가장 좋았고, 중위 분위수를 학습한 risk-neutral 모델, 하위 분위수를 학습한 risk-averse 모델, 상위 분위수를 학습한 risk-seeking 모델 순으로 성능이 좋은 것을 확인할 수 있었다. 상위 분위수와 하위 분위수를 고려하여 학습하였을 때 오프라인 환경에서의 성능 차이는 크지 않았지만, 실제 추천 시스템 환경에서 사용하게 된다면 사용자의 성향에 따라 결과가 다르게 나타날 것으로 예상된다.