어떤 예시가 중요한지뿐만 아니라, 어떻게 기여하는지를 설명하기: 확산 모델을 위한 반사실적 응답 궤적
요약
본 논문은 이미지 생성 분야의 확산 모델(Diffusion models)에서 기여도 분석을 개선한 CADT라는 새로운 개념 기여도 분석 방법을 제안합니다. 기존 방식이 단순히 어떤 예시가 중요한지만 측정했다면, CADT는 노이즈 제거 과정 동안 그 영향력이 어떻게 전개되는지를 동적 궤적으로 추적하여 분석합니다.
핵심 포인트
- 기존의 스칼라 응답 기여도 분석 한계를 극복함.
- 반사실적 쌍을 이용해 요인별 표현 변위를 분리하고 모델링함.
- 동적 궤적(Dynamic Trajectories) 기반의 새로운 기여도 서명 생성.
- 공분산 인식 커널을 사용하여 학습 샘플의 최종 기여도를 산출함.
확산 모델(Diffusion models)은 이미지 생성 분야에서 놀라운 성공을 거두었지만, 그 결과물을 개별 학습 예제에 추적하는 것은 여전히 어려운 과제입니다. 기존의 기여도 분석(attribution) 방법들은 종종 특정 요인(factor)의 효과를 스칼라 응답으로 압축하여, 구별되는 내부 변화들을 식별하기 어렵게 만듭니다. 이는 특히 의미론적 요소들이 노이즈 제거 과정 중 진화하는 표현 역학(representation dynamics)을 통해 나타나는 확산 모델에게는 더욱 제한적인 문제입니다. 따라서 우리는 확산 데이터 기여도 분석을 요인에 의해 유발되는 내부 응답 궤적(internal response trajectories)을 추적하는 것으로 재정립합니다. 본 논문에서는 동적 궤적(Dynamic Trajectories)을 통한 새로운 개념 기여도 분석 방법(Concept Attribution method)인 CADT를 제안합니다. 우리는 따라서 기여도 분석이 단순히 extit{어떤} 예시가 중요한지뿐만 아니라, 생성 과정 동안 그 영향력이 extit{어떻게} 전개되는지를 물어야 한다고 주장합니다. 구체적으로, 동일한 노이즈 상태에서 매칭된 반사실적 쌍(counterfactual pairs)을 구성하여 요인별 표현 변위(factor-specific representation displacements)를 분리하고, 이를 노이즈 제거 과정에 걸쳐 방향성 및 크기 변화로 모델링하여 동적 기여도 서명(dynamic attribution signatures)으로 만듭니다. 각 학습 예제와 생성된 쿼리에 대해 CADT는 단계별 특징 벡터(stage-wise feature vectors)를 추출하고, 이를 노이즈 제거 과정에 걸쳐 통합하여 궤적 기술자(trajectory descriptor)를 형성합니다. 이 동일한 구성을 전체 학습 세트에 적용하면 요인별 궤적 기술자들의 은행을 얻게 됩니다. 이 은행의 공분산 통계량은 이후 $ ext{Cov}( ext{CADT})$를 구성하는 데 사용됩니다. CADT는 이 공분산 인식 양의 준정부식 커널(covariance-aware positive-semidefinite kernel)을 사용하여 쿼리 및 학습 표현을 보정하고, 보정된 쿼리 궤적을 각 학습 궤적과 비교하여 최종 학습 샘플 기여도 점수를 산출합니다. 여러 공개 데이터셋에 대한 실험 결과는 계층적(hierarchical), 구성적(compositional), 스타일 기여도 분석 전반에 걸쳐 기존 확산 기여도 기준선들을 일관되게 능가함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기