고차원 마케팅 데이터의 의미론적 맥락을 고려한 강화학습 기반 추천 시스템

Abstract

현재 전자상거래 환경에서 추천 시스템은 사용자 경험과 비즈니스 성과를 동시에 향상시키는 핵심 기술이다. 기존 강화학습 기반 추천 시스템은 사용자의 상태（state） 벡터를 고차원 수치로만 표현하여 데이터 이면의 의미론적 맥락을 에이전트가 인지하지 못하는 구조적 한계를 내포한다. 특히 신규 사용자의 상호작용 이력이 전무한 Cold-start 상황에서는 유효한 state 정보의 부재로 인해 초기 추천 품질이 현저히 저하되는 문제가 발생한다.

본 연구는 이러한 한계를 극복하기 위해 고차원 수치 state 벡터를 자연어 프롬프트로 변환하는 텍스트화 프레임워크를 제안하고 사전학습 언어모델인 DistilBERT를 강화학습 에이전트의 state 인코더로 통합한 단일 아키텍처인 Language Model-based Deep Deterministic Policy Gradient （LM-DDPG）를 설계하였다. 제안 모델은 개인 프로필 속성과 K-Means 클러스터링 기반의 집단 트렌드 정보를 하나의 자연어 문맥으로 통합함으로써 기존 선행연구의 복잡한 구조를 단일 에이전트로 단순화하는 동시에 Cold-start 환경에서의 초기 추천 품질 저하 문제를 완화한다. 가상 전자상거래 환경인 Virtual-Taobao 시뮬레이터를 활용하여 성능을 평가한 결과, 제안 모델은 수치형 베이스라인 모델 대비 CTR과 추론 시간 측면에서 유의미한 개선을 보였으며, 이는 제안하는 프레임워크가 실시간 추천 시스템으로의 적용 가능성을 실증한다.;In the current e-commerce landscape, recommendation systems have become a core technology for simultaneously enhancing user experience and business performance. Although existing reinforcement learning （RL）-based recommendation systems represent the user's state vector using high-dimensional numerical values, they entail a structural limitation wherein the agent cannot perceive the underlying semantic context of the data. Particularly in cold-start scenarios where new users have no prior interaction history, the absence of valid state information leads to a significant degradation in initial recommendation quality.

To overcome these limitations, this study proposes a textification framework that transforms high-dimensional numerical state vectors into natural language prompts, and designs a single Language Model-based Deep Deterministic Policy Gradient （LM-DDPG） architecture that integrates a pre-trained language model, DistilBERT, as the state encoder of the RL agent. By consolidating individual profile attributes and K-Means clustering-based collective trends into a unified natural language context, the proposed model simplifies the complex structures of prior studies into a single agent while mitigating the initial recommendation quality degradation in cold-start environments. Performance evaluations conducted using the Virtual-Taobao simulator, a virtual e-commerce environment, demonstrate that the proposed model improves the click-through rate （CTR） by approximately 14.60% compared to the numerical baseline model. Furthermore, the end-to-end inference time was measured at an average of 5.75 ms, stably satisfying the latency constraints of real-time recommendation services and empirically validating its feasibility for commercial infrastructure deployment.