Jeffrey Guidance를 활용한 확산 모델의 일반화된 제어 방법론 제시

확산 모델(diffusion models)의 주요 강점 중 하나는 샘플링 시간 동안 가이던스(guidance)를 통해 출력을 제어할 수 있다는 점입니다. 하지만 조건부 샘플링과 같은 간단한 경우를 제외하고는, 목표 분포가 종종 암묵적으로 남아 있어 오직 샘플링 규칙이나 휴리스틱 에너지 함수를 통해서만 정의됩니다. 이를 해결하기 위해, 우리는 Jeffrey guidance라는 원칙적인 프레임워크를 제안합니다. 이 방법론은 표준 가이던스가 표현할 수 있는 범위를 넘어선 응용 분야까지 확산 모델의 제어를 확장합니다. 이는 조건부 구조를 보존하고 결합 분포(joint distribution)에 최소한으로 섭동을 주면서, Jeffrey의 조건화 규칙(Jeffrey's rule of conditioning)을 활용하여 주변 분포(marginal distributions)를 지정된 목표 방향으로 업데이트합니다. 먼저 우리는 특정 임베딩 분포(embedding distribution)를 목표로 하는 방식으로 Jeffrey guidance를 시연합니다. Inception 임베딩을 목표로 사용했을 때, 이는 CIFAR-10과 FFHQ 모두에서 FID 값을 크게 감소시키는 결과를 가져옵니다. 나아가 우리는 CelebA-HQ의 공정성(fairness)에 Jeffrey guidance를 적용하여, 비조건부 확산 모델을 업데이트함으로써 속성 간의 독립성을 강제합니다.