Textual Inversion을 활용한 Adversarial Prompt 생성 기반 Text-to-Image 모델에 대한 멤버십 추론 공격

Vol. 33, No. 6, pp. 1111-1123, 12월. 2023
10.13089/JKIISC.2023.33.6.1111, Full Text:
Keywords: Generative Model, Text-to-Image Model, Membership Inference Attack, Adversarial Prompt, Textual Inversion
Abstract

최근 생성 모델이 발전함에 따라 생성 모델을 위협하는 연구도 활발히 진행되고 있다. 본 논문은 Text-to-Image 모델에 대한 멤버십 추론 공격을 위한 새로운 제안 방법을 소개한다. 기존의 Text-to-Image 모델에 대한 멤버십 추론 공격은 쿼리 이미지의 caption으로 단일 이미지를 생성하여 멤버십을 추론하였다. 반면, 본 논문은 Textual Inversion을 통해 쿼리 이미지에 personalization된 임베딩을 사용하고, Adversarial Prompt 생성 방법으로 여러 장의 이미지를 효과적으로 생성하는 멤버십 추론 공격을 제안한다. 또한, Text-to-Image 모델 중 주목받고 있는 Stable Diffusion 모델에 대한 멤버십 추론 공격을 최초로 진행하였으며, 최대 1.00의 Accuracy를 달성한다.

Statistics
Show / Hide Statistics

Statistics (Cumulative Counts from December 1st, 2017)
Multiple requests among the same browser session are counted as one view.
If you mouse over a chart, the values of data points will be shown.


Cite this article
[IEEE Style]
오윤주, 최대선, 박소희, "Membership Inference Attack against Text-to-Image Model Based on Generating Adversarial Prompt Using Textual Inversion," Journal of The Korea Institute of Information Security and Cryptology, vol. 33, no. 6, pp. 1111-1123, 2023. DOI: 10.13089/JKIISC.2023.33.6.1111.

[ACM Style]
오윤주, 최대선, and 박소희. 2023. Membership Inference Attack against Text-to-Image Model Based on Generating Adversarial Prompt Using Textual Inversion. Journal of The Korea Institute of Information Security and Cryptology, 33, 6, (2023), 1111-1123. DOI: 10.13089/JKIISC.2023.33.6.1111.