Optimizing Human-AI Resource Routing in AI Contact Centers using Reinforcement Learning

Abstract

This study explores the optimization of customer routing strategies in hybrid AI Contact Centers (AICCs), where artificial intelligence (AI) agents and human agents handle customer inquiries in parallel. Traditional rule-based routing approaches struggle to accommodate dynamic operational factors—such as inquiry types, queue conditions, agent performance, and cost structures—often leading to inefficient trade-offs between service quality and operational efficiency. To address these limitations, we model the routing problem as a Markov Decision Process (MDP) and apply a Deep Q-Network (DQN)-based reinforcement learning algorithm to develop an adaptive routing policy that jointly optimizes key performance indicators (KPIs), including resolution rate, first contact resolution (FCR), abandonment rate, average wait time, human agent utilization, and total reward. An event-driven simulator was developed to reflect realistic conditions, including customer arrival patterns, issue complexity, success probabilities, and operational costs. The learned DQN policy was empirically evaluated against multiple baseline strategies. Results show that the DQN policy consistently outperformed baseline approaches across major KPIs and successfully adjusted its routing behavior in response to system state changes, achieving a balanced optimization between service quality and efficiency. The key contributions of this study are threefold. First, we empirically demonstrate the practical viability of reinforcement learning-based adaptive routing in hybrid AICC environments. Second, we design a reward function that integrates service value and operational cost to support balanced policy learning. Third, we establish a structured evaluation framework for comparing routing strategies, providing evidence of the relative advantages and applicability of the RL-based approach.;본 연구는 인간 상담원과 인공지능(AI) 상담원이 병렬적으로 고객 상담을 수행하는 하이브리드 AI 컨택센터(AI Contact Center, AICC) 환경에서, 고객 문의 라우팅 최적화 전략을 다룬다. 기존의 규칙 기반 라우팅 방식은 문의 유형, 대기열 상태, 에이전트 성과, 비용 구조 등 다양한 운영 요인의 동적 변화를 충분히 반영하지 못해, 서비스 품질과 운영 효율성 간 비효율적인 trade-off를 초래하는 한계가 있다. 이를 해결하기 위해, 본 연구는 고객 라우팅 문제를 마르코프 결정 과정(Markov Decision Process, MDP)으로 모델링하고, 강화학습 기반 딥 Q-네트워크(Deep Q-Network, DQN) 알고리즘을 적용하여 해결률, 이탈률, 최초 연락 해결률(FCR), 평균 대기시간, 인간 에이전트 활용률 등 주요 성과지표(KPI)를 종합적으로 최적화하는 적응형 라우팅 정책을 학습하였다. 현실적인 고객 도착 패턴, 이슈 복잡도, 성공 확률, 비용 파라미터 등을 반영한 이벤트 기반 시뮬레이터를 구축하고, 다양한 기준 정책(baseline)과의 비교 실험을 통해 DQN 정책의 성과를 평가하였다. 그 결과, DQN 기반 정책은 주요 KPI 전반에서 우수한 성과를 보였으며, 시스템 상태 변화에 따라 전략을 유연하게 조정함으로써 서비스 품질과 운영 효율성 간 균형 잡힌 최적화를 달성하였다. 본 연구의 기여는 다음과 같다. 첫째, 하이브리드 AICC 환경에서 강화학습 기반 라우팅의 실용 가능성을 실증적으로 제시하였다. 둘째, 서비스 가치와 운영 비용을 통합적으로 고려한 보상 함수를 설계하여, 균형적인 정책 학습을 가능하게 하였다. 셋째, 다양한 정책 간 비교 분석을 위한 체계적인 평가 프레임워크를 수립하고, 적응형 강화학습 정책의 상대적 우수성과 적용 가능성을 입증하였다.