조합적 보상 하에서의 Flow 모델을 위한 충돌 인식 가산 가이드 (Conflict-Aware Additive Guidance)

추론 시점의 가이드 샘플링 (Inference-time guided sampling)은 생성 과정을 제어 가능한 궤적 (trajectory)으로 해석함으로써, 미세 조정 (fine-tuning) 없이도 최첨단 확산 모델 (diffusion models) 및 Flow 모델을 유도합니다. 이는 제어된 생성을 위해 외부 제약 조건 (예: 비용 함수 (cost functions) 또는 사전 학습된 검증기 (pre-trained verifiers))을 주입하는 단순하고 유연한 방법을 제공합니다. 그러나 기존 방법들은 여러 제약 조건을 동시에 조합할 때 종종 실패하며, 이는 실제 데이터 매니폴드 (data manifold)로부터의 이탈을 초래합니다. 본 연구에서 우리는 이러한 매니폴드 외 이탈 (off-manifold drift)의 근본 원인을 식별하였으며, 근사 오차 (approximation error)가 그래디언트 불일치 (gradient misalignment)에 따라 심각하게 커진다는 것을 발견했습니다. 이러한 발견을 바탕으로, 우리는 경량화되고 학습 가능한 방법인 충돌 인식 가산 가이드 (Conflict-Aware Additive Guidance, $g^ ext{car}$)를 제안합니다. 이 방법은 그래디언트 충돌 (gradient conflicts)을 동적으로 탐지하고 해결함으로써 매니폴드 외 이탈을 능동적으로 교정합니다. 우리는 합성 데이터셋 (synthetic datasets)과 이미지 편집 (image editing)부터 계획 및 제어를 위한 생성적 의사결정 (generative decision-making)에 이르기까지 다양한 도메인에서 $g^ ext{car}$를 검증합니다. 우리의 결과는 $g^ ext{car}$가 적은 연산량을 사용하면서도 생성 충실도 (generation fidelity) 측면에서 베이스라인을 능가하며 매니폴드 외 이탈을 효과적으로 교정함을 보여줍니다. 코드는 https://github.com/yuxuehui/CAR-guidance 에서 확인할 수 있습니다.