The Design and Evaluation of a Style Transfer-Based Voice Customization System for Voice Generation

Abstract

Many voice conversion and synthesis applications offer great utility to users but often cause frustration due to unintuitive or complex processes. To explore more intuitive and user-friendly approaches, we first conducted a formative user study with 18 participants. They were asked to find or create a voice using three different methods: (1) searching for a target voice based on labels such as name and profile pictures, (2) describing the voice to an LLM to get voice recommendations of celebrities, and (3) entering a text prompt to a text-to-speech model to generate the voice. Based on the limitations and user needs identified through this study, we developed AVOCUS+, a new end-to-end voice customization system that integrates hashtag-based voice search, voice sample comparison, and voice style transfer techniques. We then conducted a comparative user study to evaluate the usability of AVOCUS+ against a baseline system. Results show that AVOCUS+ significantly improves task efficiency, similarity of generated voices, and overall user satisfaction. This paper presents the system’s background, design, and evaluation, and proposes guidelines for building user-centered voice interfaces to enhance the voice customization experience.;많은 음성 변환 및 합성 애플리케이션은 사용자에게 큰 유용성을 제공하지만, 직관적이지 않거나 복잡한 과정으로 인해 불편함과 좌절감을 유발하는 경우가 많습니다. 보다 직관적이고 사용자 친화적인 접근 방식을 탐색하기 위해, 본 연구는 18명의 참가자를 대상으로 사전 사용자 연구를 실시하였습니다. 참가자들은 (1) 이름 및 프로필 사진 등의 레이블을 기반으로 음성을 검색하는 방법, (2) 원하는 목소리를 LLM에 설명하여 유명인의 음성을 추천받는 방법, (3) 텍스트 프롬프트를 입력하여 음성을 생성하는 TTS 기반 방법을 사용해 음성을 찾거나 생성하도록 요청받았습니다. 이를 통해 기존 음성 탐색 및 생성 방식의 한계와 사용자 요구를 도출하였으며, 이를 바탕으로 해시태그 기반 탐색, 음성 샘플 비교, 스타일 전이 기법을 통합한 새로운 end-to-end 음성 커스터마이징 시스템 AVOCUS+를 개발하였습니다. 이후 기존 시스템과의 비교 사용자 연구를 통해 AVOCUS+의 효용성을 평가한 결과, 과제 수행 시간, 음성 유사도, 전반적인 만족도에서 유의미한 향상이 나타났습니다. 본 논문은 시스템의 개발 배경, 설계, 평가 과정을 소개하고, 사용자 경험을 향상시키는 사용자 중심 음성 인터페이스 설계를 위한 실질적인 가이드라인을 제안합니다.