PRISM: 제어 가능한 비쌍(Unpaired) 이미지 변환을 위한 분포 게이팅 기반 플로우 매칭 (Distribution-Gated Flow
요약
PRISM은 비쌍 이미지 변환에서 콘텐츠와 외형 분리를 개선하기 위해 분포 게이팅 기반 플로우 매칭 프레임워크를 제안합니다. 기존 방식의 전역 노이즈 대신, PRISM은 학습된 특징별 게이트(per-feature gate)를 사용하여 어떤 특징을 보존하고 무엇을 변경할지 정밀하게 제어합니다. 이 방법은 다양한 벤치마크에서 우수한 성능과 구조적 보존 능력을 입증했습니다.
핵심 포인트
- 전역 노이즈 대신 특징별 게이트로 콘텐츠/외형 분리 가능
- 게이트는 소스-타겟 분포 거리를 기반으로 정밀 제어
- 콘텐츠 고정(AdaIN) 및 부분 고정을 통해 구조 보존 강화
- 다양한 벤치마크에서 높은 FID/KID 점수 달성
비쌍(Unpaired) 이미지 대 이미지 변환(image-to-image translation)은 쌍을 이룬 지도 학습(paired supervision) 없이 이미지별로 무엇을 변경하고 무엇을 보존할지 결정해야 합니다. 많은 확산 기반(diffusion-based) 비쌍 변환기들은 이미지 전체에 적용되는 단일 전역 노이즈(global noise)나 가이드 값(guidance value)을 통해 보존을 제어하는데, 이는 유지해야 할 콘텐츠(content)와 변경해야 할 외형(appearance)을 분리할 수 없습니다. 우리는 이러한 전역 제어를 학습된 특징별 게이트(per-feature gate)로 대체하는 GAN-free 플로우 매칭(flow-matching) 프레임워크인 PRISM을 제안합니다. 게이트의 공간적 사전 정보(spatial prior)는 각 소스 특징(source feature)의 타겟 특징 분포(target feature distribution)에 대한 표준화된 거리로부터 도출되므로, 타겟과 거리가 먼 특징은 자유롭게 변경되는 반면 타겟과 일치하는 특징은 보존됩니다. 동일한 게이트는 실제 소스 잠재 변수(real source latent)와 작업에 맞춰진 오염(task-matched corruption)을 혼합하는 초기화(initialization) 과정과 상미분 방정식 (ODE) 적분 중의 수송 타이밍(transport timing)을 모두 제어합니다. 오염은 작업에 맞춰지는데, 구조 보존형 변환을 위해서는 콘텐츠에 고정(content-anchored, AdaIN)되고, 구조 변경형 변환을 위해서는 부분적으로 고정(partially anchored)됩니다. 또한 게이트는 재학습 없이 추론 시 텍스트나 탐지기(detector)를 통해 국소적으로 재설정(overridden)될 수 있어, 원본 이미지의 중요한 구조를 보존하면서도 여전히 사실적인 결과를 생성할 수 있습니다. 우리는 다섯 가지 자연 및 생물 의학 벤치마크(AFHQ cat->dog, CelebA-HQ 외형 변환, 낮->밤 재조명, 가상 염색, 유방 동결->영구 조직병리)에서 PRISM을 평가합니다. 동일한 스플릿 프로토콜(same-split protocol) 하에서 평가된 방법들 중, PRISM은 4개의 벤치마크에서 최고의 Inception FID 및 KID를 달성하였고 다섯 번째 벤치마크에서도 경쟁력 있는 결과를 얻었으며, 조직병리에서는 이상적인 수치에 가장 가까운 핵 개수 비율(nuclei-count ratio)을 산출하여 타겟의 사실성과 구조적 보존 사이의 유리한 균형을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기