사후 정제 (Posterior Refinement): 임의 순서 흐름 맵 (Any-Order Flow Maps)을 통한 빠른 언어 생성
요약
FMLM+ 프레임워크를 통해 비자기회귀적 언어 생성의 속도와 품질 문제를 해결하는 연구를 소개합니다. 사후 정제(Posterior Refinement) 전략을 도입하여 적은 연산 횟수만으로도 기존 모델 수준의 고품질 언어 생성을 가능하게 합니다.
핵심 포인트
- FMLM+ 프레임워크를 통한 비자기회귀적 생성 성능 개선
- 사후 정제(Posterior Refinement)를 통한 적응적 자기 수정 기능
- NFE를 32배 절감하면서도 기존 베이스라인 수준의 품질 유지
- 속도와 품질 간의 트레이드오프 최적화 및 확장성 입증
비자기회귀적 생성 (Non-autoregressive generation)은 반복적인 정제 (iterative refinement)를 위한 강력한 패러다임을 제공하며, 모델이 토큰의 임의의 부분 집합을 재귀적으로 비판하고, 삭제하고, 다시 생성할 수 있도록 합니다. 그러나 기존의 비자기회귀적 모델들은 이러한 잠재력을 실현하지 못하고 있습니다. 마스크 확산 모델 (Masked Diffusion Models, MDMs)은 인수분해 오류 (factorization error)로 인해 여러 토큰을 동시에 생성할 때 샘플 품질이 무너지는 문제를 겪습니다. 흐름 맵 언어 모델 (Flow Map Language Models, FMLMs)은 우수한 소수 단계 생성 (few-step generation)을 위해 결합 시퀀스 전송 (joint sequence transport)을 통해 이 병목 현상을 우회하지만, MDM의 추론 시간 유연성 (inference-time flexibility)을 희생합니다. 우리는 FMLM에 마스킹 스타일의 노이즈 스케줄 (masking-style noise schedules)을 장착하여 이 간극을 메우는 프레임워크인 FMLM+를 소개합니다. FMLM+는 단일 단계에서 전체 시퀀스를 생성하는 동시에, 각 토큰의 전역적 일관성 (global consistency)을 사후적으로 (a posteriori) 점수화합니다. 우리는 이를 활용하여 사후 정제 (Posterior Refinement)를 도입하는데, 이는 모델이 출력을 적응적으로 자기 수정 (self-correct)할 수 있게 하는 새로운 추론 시간 정제 전략으로, 32배 적은 NFE (Number of Function Evaluations)만으로도 이산적 베이스라인 (discrete baselines)의 성능과 일치하는 결과를 보여줍니다. 다양한 벤치마크에 걸쳐, 우리는 사후 정제를 적용한 FMLM+가 MDM 및 FMLM 계열 모두에 대해 속도-품질 트레이드오프 (speed--quality tradeoff)를 개선하며, 고충실도 언어 모델링 (high-fidelity language modeling)을 위한 확장 가능한 기반을 제공함을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기