Empty SPACE: 확산 모델의 개념 삭제를 위한 교차 어텐션 희소성

요약

본 논문은 텍스트-이미지 확산 모델에서 특정 개념을 효과적으로 삭제하기 위한 새로운 방법인 SPACE(Sparse cross-Attention 기반 개념 삭제)를 제안합니다. 기존의 폐쇄형 개념 삭제 방법들은 대규모 아키텍처에서 성능 저하가 발생하는 문제를 해결하고자 합니다. SPACE는 교차 어텐션 파라미터를 반복적으로 수정하며 희소성을 유도하고 목표 개념을 제거함으로써, 높은 삭제 효율성과 적대적 프롬프트에 대한 강건성 향상을 동시에 달성합니다.

핵심 포인트

• SPACE는 텍스트-이미지 확산 모델의 교차 어텐션 파라미터를 수정하여 특정 개념을 효과적으로 삭제하는 방법을 제시한다.
• 이 방법은 대규모 아키텍처(예: SDXL)에서도 높은 개념 삭제 효율성을 유지하며, 기존 밀집 기반 방법보다 우수하다.
• SPACE는 희소성(sparsity)을 유도하여 메모리 효율성을 크게 개선시키며, 교차 어텐션 파라미터 저장 공간을 70%까지 줄일 수 있다.
• 제안된 방식은 개념 삭제 효과가 뛰어나고 적대적 프롬프트에 대한 강건성이 높다는 것을 실험적으로 입증했다.