주변 조건부 브리지(Marginal-Conditioned Bridges)를 통한 Flow Language Models 샘플링

요약

본 논문은 Flow Language Models (FLMs)을 위한 새로운 샘플링 기법인 '주변 조건부 브리지(Marginal-Conditioned Bridges)'를 제안합니다. 기존의 표준 DDPM 스타일 샘플러는 FLM 토큰 주변 분포에 적합하지 않아 유효한 원-핫 시퀀스를 생성하기 어렵습니다. 대신, 이 방법은 사후 예측적 접근 방식을 사용하여 깨끗한 원-핫 종단점을 샘플링하고, 여기에 조건화된 해석적 Ornstein--Uhlenbeck 브리지를 적용하여 다음 연속 상태를 샘플링합니다.

핵심 포인트

• FLMs는 원-핫 인코딩 토큰 시퀀스에 연속 흐름 매칭을 적용하는 언어 모델 클래스이다.
• 기존 DDPM 스타일 샘플러는 FLM의 주변 분포 특성을 반영하지 못하여 비효율적이다.
• 제안된 방법은 사후 예측적(posterior-predictive) 접근 방식을 채택하며, 깨끗한 원-핫 종단점과 조건화된 브리지를 결합한다.
• 이 샘플러는 별도의 학습 없이 표준 평가를 사용하며, 온도 스케일링 등 토큰 수준 디코딩 제어 인터페이스를 제공한다.
• Girsanov 경로 공간 비교를 통해 주변 조건부 브리지가 고정된 평균 브리지보다 우수함을 수학적으로 증명했다.