텍스트-이미지(T2I) 모델이 특정 이미지 컬렉션으로 파인튜닝되었는지 감사하는 것은 어렵습니다. 모델은 훈련 이미지를 재생산하지 않으면서도 컬렉션 수준의 시각적 특징을 흡수할 수 있기 때문입니다. 사전 예방적인 데이터셋 사용 감사는 데이터셋 공개 전에 공유 신호를 심어놓고, 나중에 의심스러운 모델이 생성한 출력물에서 그 신호가 나타나는지 확인하는 방식입니다. 기존 접근법들은 검증 가능성(verifiability), 충실도(fidelity), 견고성(robustness), 그리고 배포 용이성(deployability) 사이에서 상충 관계를 보였습니다.
저희는 $ extbf{SpectralCanary}$를 소개합니다. 이는 부드러운 저역 통과 마스크(low-pass mask)를 사용하여 고정된 카나리 이미지(canary image)를 모든 컬렉션 이미지에 블렌딩하는 방식을 사용하며, 캡션을 변경하지 않고 추가적인 생성이나 개별 이미지 최적화가 필요 없습니다. 경량 검증기(lightweight verifier)는 의심스러운 모델의 출력물에서 전이된 신호를 감지합니다.
Pokemon 데이터셋과 세 가지 현실적인 데이터 변환에 걸쳐, 두 개의 아키텍처 계열을 포괄하는 여덟 가지 테스트를 통해 SpectralCanary는 평가된 방법들 중 평균 생성당 TPR@$1$% FPR ($91.1$%$) 및 30개 생성을 사용한 고정 임계값 모델 수준 정확도 ($94.8$%)에서 가장 높은 성능을 달성했습니다. 예술, 의료, 위성, 패션 도메인에 걸친 다섯 가지 데이터셋과 SD3.5를 사용하여, SpectralCanary는 방출된 이미지를 보존하면서(SSIM $0.989$, LPIPS $0.022$) 데이터셋 전반에 걸쳐 평균 생성당 TPR@$1$% FPR을 $92.4$%로 유지했으며, 평균 $\Delta$FID (mean $\Delta$FID $0.05$)를 보였습니다.
Pokemon 및 ROCOv2에서 매치된 에너지 제거(Matched-energy ablations)는 저희의 설계 선택을 뒷받침하며, 저주파수 배치가 중/고주파수 배치보다 더 신뢰성 있게 전이됨을 보여줍니다. 평가된 적응형 공격 하에서도 가장 효과적인 제거를 위해서는 공격적인 수정이 필요하며 $25$ $\Delta$FID 포인트 이상이 발생합니다. 이러한 결과들은 저주파 시각적 신호가 컬렉션 수준의 T2I 감사 흔적(audit traces)을 전달하는 효과적인 매개체임을 밝혀냅니다.