How Differential Privacy Mechanisms Affect Membership Inference Attack Resistance in Generative Adversarial Networks

Abstract

In this paper, we analyze the differences in membership inference attack(MIA) resistance depending on differential privacy application methods in Generative Adversarial Networks(GANs) training. Specifically, we claim that models that use the loss perturbation method exhibit low resistance to MIAs and prove that the differential privacy budget ε does not guarantee resistance against practical attacks. When applying the same level of differential privacy, GANs using loss perturbation methods generated higher quality images compared to those using gradient perturbation methods. GANs generate images by mimicking the distribution of the training dataset. Therefore, we hypothesized that generating images more similar to training data would contain more sensitive information from the training dataset. According to prior research, differential privacy is primarily applied to discriminators. Since generators are trained using the outputs from these privacy-protected discriminators, the generators inherit the same level of privacy protection through the post-processing property of differential privacy. Based on this observation, we designed experiments to test the hypothesis that the MIA resistance of entire GANs depends on the discriminator’s resistance. We used classifier models as discriminators and evaluated their resistance to membership inference attacks after applying differential privacy. We trained ResNet and DenseNet models using both gradient perturbation and loss perturbation methods. We then conducted three black-box attacks and one white-box attack with privacy budgets of ϵ = 1, 5, and 10. Our results demonstrate that gradient perturbation achieved attack success rates of approximately 50%, while loss perturbation showed attack success rates comparable to models without differential privacy protection. These findings reveal that loss-based differential privacy can remain vulnerable to membership inference attacks despite providing mathematically equivalent privacy guarantees to gradient-based approaches.;본 연구의 목적은 Generative Adversarial Networks(GANs) 학습 시 차등 프라이버시 적용 방식에 따른 멤버십 추론 공격 저항성의 차이를 분석하는 것이다. 특히 손실값 왜곡 방식을 적용했을 때 모델의 멤버십 추론 공격 저항성이 낮음을 보이고, 차등 프라이버시의 예산 ϵ이 실질적인 공격에 대한 저항성으로 완전히 대치되지 않음을 증명하고자 한다. 동일한 수준의 차등 프라이버시를 적용할 때, 손실값 왜곡 방식을 사용한 GANs가 그래디언트 왜곡 방식보다 더 뛰어난 품질의 이미지를 생성하였다. GANs는 학습 데이터의 분포를 모방하여 이미지를 생성하는 특성을 가지므로, 학습 데이터와 더 유사한 이미지를 생성할수록 학습 데이터의 민감 정보를 더 많이 포함할 것이라는 가설을 세웠다. 선행 연구에 따르면 차등 프라이버시는 주로 판별기에 적용되며, 생성기는 판별기의 손실값을 통해 학습되므로 post-processing 성질에 따라 동일한 수준의 프라이버시가 보장된다. 이를 바탕으로 전체 GANs의 멤버십 추론 공격 저항성이 판별기의 저항성에 달려 있다는 가설을 설정하고 실험을 설계하였다. 실험에서는 판별기 역할로 분류기 모델을 사용하였고, 해당 분류기에 차등 프라이버시를 적용한 후 멤버십 추론 공격 저항성을 평가하였다. ResNet과 DenseNet을 대상으로 그래디언트 왜곡과 손실값 왜곡 방식을 각각 적용하여 학습시켰으며, 프라이버시 예산 ϵ = 1, 5, 10을 기준으로 세 가지 블랙박스 공격과 한 가지 화이트박스 공격을 수행하였다. 실험 결과, 그래디언트 왜곡을 적용한 모델의 공격 성공률은 약 50%로 낮았던 반면, 손실값 왜곡을 적용한 모델은 차등 프라이버시를 적용하지 않은 모델과 유사한 수준의 높은 공격 성공률을 보였다. 이러한 결과를 통해 손실값 기반 차등 프라이버시가 수학적으로는 그래디언트 기반 차등 프라이버시와 동일한 수준의 프라이버시를 보장한다고 하더라도, 실제 멤버십 추론 공격에는 취약할 수 있음을 확인하였다.