히드라를 깨우다: Text-to-Image Diffusion Models에서의 안정적인 다중 개념 백도어 주입 (Multi-Concept

요약

텍스트-이미지 확산 모델의 재사용 및 미세 조정 과정에서 발생하는 다중 개념 백도어 간의 의미론적 충돌과 생성 품질 저하 문제를 다룹니다. 본 연구는 Hydra라는 통합 프레임워크를 제안하여, 기존 백도어의 안정성을 해치지 않으면서도 새로운 개념을 정교하게 주입할 수 있는 방법을 제시합니다.

핵심 포인트

• 재사용되는 체크포인트 환경에서 여러 백도어가 축적될 경우 개념 간 얽힘과 생성 품질 저하가 발생함
• Hydra는 텍스트 인코더 공간에서 진화적 트리거 탐색을 통해 타겟 개념과 일치하면서도 간섭이 적은 트리거를 식별함
• 다중 작업 미세 조정과 트리거-클린 정규화를 결합하여 학습 안정성을 높임
• 실험 결과, 500개의 개념 쌍에 대해 약 95%의 높은 공격 성공률(ASR)과 우수한 이미지 품질을 동시에 유지함