DurMI

Abstract

Recent Text-to-Speech (TTS) systems such as FastSpeech2, Grad-TTS, and VITS2 deliver state-of-the-art performance but remain vulnerable to memorization and potential leakage of sensitive training data. Existing membership inference attacks (MIAs) targeting diffusion-based TTS models typically depend on denoising error metrics, which are both computationally expensive and limited in detecting instance-specific memorization patterns. To address this, we introduce DurMI, the first MIA that leverages duration loss—a key alignment signal within TTS training—as a discriminative indicator of data membership. Duration loss effectively reflects how strongly a model overfits its alignment targets, whether these targets are obtained from deterministic aligners such as MAS and MFA or predicted stochastically as in VITS2. By exploiting this property, DurMI enables membershiph inference using only a single forward pass, maintaining compatibility with a wide range of TTS model architectures. Evaluations conducted on three benchmarks datasets across a variety of architectures—such as diffusion-based models (Grad-TTS, WaveGrad2), flow-matching systems (VoiceFlow), transformer approaches (FastSpeech2), and stochastic-duration models (VITS2)—demonstrate that DurMI consistently surpass previous MIAs, even in waveform-level synthesus tasks where other attacks are ineffective. These findings emphasize DurMI’s strong performance, computational efficiency, and general applicability, highlighting the imortance of privacy-aware training in contemporary TTS frameworks.;최근의 FastSpeech2, Grad-TTS, VITS2와 같은 최신 Text-to-Speech(TTS) 시스템은 매우 높은 성능을 보이지만, 여전히 훈련 데이터의 민감한 정보를 암기하거나 노출할 위험이 있다. 기존의 Diffusion 기반 TTS 모델을 대상으로 한 멤버십 추론 공격(MIA)은 주로 denoising error 기반 지표에 의존하는데, 이는 계산 비용이 크고 개별 샘플 수준의 암기 패턴을 포착하는 데 한계가 있다. 이 문제를 해결하기 위해 본 논문에서는 DurMI를 제안한다. DurMI는 TTS 학습의 핵심 정렬 신호인 duration loss를 데이터 멤버십을 구분하는 지표로 활용하는 최초의 MIA이다. Duration loss는 MAS나 MFA와 같은 결정적 aligner로 얻은 정렬이든, VITS2처럼 모델이 확률적으로 예측한 정렬이든, 모델이 해당 정렬 목표에 얼마나 과적합했는지를 효과적으로 반영한다. 이 특성을 활용하여 DurMI는 단 한 번의 forward pass만으로 멤버십 추론을 수행할 수 있으며, 다양한 TTS 모델 구조와도 호환된다. Grad-TTS, WaveGrad2 같은 Diffusion 기반, VoiceFlow와 같은 flow-matching 기반, FastSpeech2 기반 transformer 모델, 그리고 VITS2와 같은 확률적 duration 모델 등 여러 아키텍처와 세 가지 벤치마크 데이터셋에서 평가한 결과, DurMI는 기존 MIA보다 일관되게 우수한 성능을 보였다. 특히 다른 공격이 효과를 내기 어려운 waveform-level의 합성 모델에서도 뛰어난 성능을 유지했다. 이 결과는 DurMI가 높은 성능, 계산 효율성, 광범위한 적용 가능성을 모두 갖추었음을 보여주며, 최신 TTS 시스템에서 프라이버시 보안 학습의 중요성을 강조한다.