Designing a Strategy-Driven Conversational Agent for Mental Health Support

Abstract

Large Language Models (LLMs) demonstrate strong conversational abilities, creating new opportunities for digital mental health support. However, they often struggle to produce user- and context-adaptive responses, frequently defaulting to generic or unhelpful content as conversational context accumulates. To address these challenges, we investigate how strategy planning can enhance conversational quality and user experience in LLM-based mental health support. Grounded in psychological theory, we integrate Hill’s helping stages and established psychotherapeutic techniques into turn-level strategies within a conversational agent. A lightweight planner module infers the appropriate strategy from dialogue context and guides response generation accordingly. A user study with 20 participants demonstrates that the proposed agent significantly improves the exploration of user concerns, perceived empathy, contextual relevance, helpfulness, and overall satisfaction. Automatic evaluations, including token- and sentence-level similarity metrics and an LLM-as-a-judge, further support improvements over baselines. Our findings suggest that psychologically grounded, turn-level strategies improve user experience and overall conversational effectiveness, offering actionable design implications for LLM-based conversational agents in mental health support.;대규모 언어 모델(Large Language Model, LLM)은 고품질의 자연어 생성 능력을 바탕으로 디지털 정신건강 지원 시스템에 적용 가능성을 보이고 있다. 그러나 기존 LLM 기반 대화 시스템은 사용자 상태와 맥락에 적응적인 응답을 생성하는 데 한계가 있으며, 대화 맥락이 누적될수록 일반적이고 피상적인 응답으로 수렴하는 문제가 있다. 본 연구는 이러한 한계를 해결하기 위해, 심리학적으로 근거화된 전략 계획을 LLM 기반 대화 생성 파이프라인에 통합하는 전략 인식형 대화형 에이전트 아키텍처를 제안하고 그 효과를 분석한다. 제안한 시스템은 Hill의 상담 단계 모델과 근거기반 심리치료 기법을 턴 단위 전략으로 구조화하고, 대화 맥락으로부터 전략을 추론하는 경량 플래너 모듈과 해당 전략을 조건으로 응답을 생성하는 LLM 기반 생성 모듈로 구성된다. 20명을 대상으로 수행한 사용자 연구 결과, 제안한 에이전트는 탐색, 공감, 맥락 적합성 등의 측면에서 기존 LLM 기반 방법 대비 유의미한 향상을 보였다. 또한 토큰 및 문장 수준의 의미 유사도 지표와 LLM-as-a-judge를 활용한 자동 평가에서도 일관된 성능 개선이 확인되었다. 본 연구는 심리학적 전략을 계산적 제어 단위로 LLM 생성 과정에 통합함으로써, 전략 계획을 통한 응답 제어가 사용자 경험과 대화 전반의 효과성 향상에 기여함을 실증적으로 보인다. 이는 정신건강 지원을 위한 LLM 기반 대화형 에이전트 설계에 대한 기술적 시사점을 제공한다.