브릿지 기반 샘플러를 위한 조건부-주변부 이산화 및 엔트로피 기반 스케줄링 연구
요약
본 연구는 제한된 추론 예산 내에서 흐름 기반 생성 모델의 샘플링 품질을 높이기 위해 엔트로피율을 기반으로 한 새로운 이산화 및 스케줄링 방법을 제안합니다. 조건부-주변부 엔트로피율 목적 함수를 통해 양 끝점에 집중된 비균등 그리드를 구축함으로써, 기존 선형 또는 코사인 방식보다 적은 함수 평가(NFE)로도 더 높은 샘플링 성능을 달성했습니다. 실험 결과, 이미지 생성(CIFAR-10)과 단백질 생성(AlphaFlow) 작업 모두에서 기존 방식 대비 유의미한 성능 향상을 입증했습니다.
핵심 포인트
- 조건부-주변부 엔트로피율을 활용하여 훈련이 필요 없는 엔트로피 추론 시간 스케줄러 구축
- 가우시안 브라운 브릿지에서 엔트로피율이 U자 형태를 띠므로 경계 부분에 집중된 비균등 그리드가 효율적임을 확인
- CIFAR-10 데이터셋의 5단계 FID 테스트에서 선형 및 코사인 방식 대비 우수한 성능 달성
- AlphaFlow 단백질 생성 작업의 CAMEO22 및 ATLAS 벤치마크에서 낮은 NFE 영역의 이점 입증
- ODE-Heun MMD 방식에서 선형 방식 대비 18.1%, SDE-Heun 방식에서 22.7%의 성능 개선
제한된 추론 예산(inference budget) 하에서 고정된 흐름 기반 생성 모델(flow-based generative model)의 샘플 품질은 샘플러가 소수의 함수 평가(function evaluations)를 어디에 할애하느냐에 따라 크게 달라질 수 있습니다. 흐름 매칭(Flow matching)과 Schrödinger 브릿지(Schrödinger bridges)는 확률 경로(probability paths)를 정의하지만, 이들의 추론 그리드(inference grids)는 대개 휴리스틱(heuristic)하거나 한쪽 끝점의 확산(diffusion) 모델로부터 상속된 방식을 사용합니다. 본 연구에서는 브릿지 인지 이산화(bridge-aware discretization)를 위해 조건부-주변부 엔트로피율(conditional-marginal entropy-rate) 목적 함수를 도출하여, 양 끝점 조건부 브릿지 기하학(endpoint-conditioned bridge geometry)과 주변부 흐름 진화(marginal flow evolution)를 분리하며, 이를 사용하여 제1원리(first principles)로부터 훈련이 필요 없는 엔트로피 추론 시간 스케줄러(entropic inference-time scheduler)를 구축합니다. 가우시안 브라운 브릿지(Gaussian Brownian bridges)의 경우 이 비율은 폐쇄형(closed-form)이며 U자 형태를 띠는데, 이는 경계 부분에 집중된 비균등 그리드(nonuniform grids)의 필요성을 뒷받침합니다. 학습된 2차원 브릿지/흐름 모델에서 추정된 프로필은 예측된 형상을 회복하며, 동일한 낮은 NFE(Number of Function Evaluations) 스윕(sweep) 조건에서 10단계 ODE-Heun MMD를 선형(linear) 방식 대비 18.1% 개선하였고, SDE-Heun 방식에서는 22.7%의 개선을 달성했습니다. EDM/CIFAR-10 데이터셋에서 엔트로피 시간 이산화(entropic time-discretization)는 테스트된 5단계 FID 중 가장 우수한 성능(선형 방식 200.5 ± 2.9 및 코사인(cosine) 방식 238.0 ± 5.3 대비 186.3 ± 4.0)을 보여주었습니다. AlphaFlow 단백질 생성 작업에서 엔트로피 조건부-주변부(cond-marg) 스케줄링은 CAMEO22 및 ATLAS 벤치마크 모두에서 낮은 NFE 영역의 이점을 보여주었습니다. 이러한 결과는 엔트로피율 스케줄링이 고차원 브릿지 및 흐름 샘플러를 위한 실용적인 저예산 할당 신호임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기