Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
FMLM+ 프레임워크를 통해 비자기회귀적 언어 생성의 속도와 품질 문제를 해결하는 연구를 소개합니다. 사후 정제(Posterior Refinement) 전략을 도입하여 적은 연산 횟수만으로도 기존 모델 수준의 고품질 언어 생성을 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비자기회귀적 생성 (Non-autoregressive generation)은 반복적인 정제 (iterative refinement)를 위한 강력한 패러다임을 제공하며, 모델이 토큰의 임의의 부분 집합을 재귀적으로 비판하고, 삭제하고, 다시 생성할 수 있도록 합니다. 그러나 기존의 비자기회귀적 모델들은 이러한 잠재력을 실현하지 못하고 있습니다. 마스크 확산 모델 (Masked Diffusion Models, MDMs)은 인수분해 오류 (factorization error)로 인해 여러 토큰을 동시에 생성할 때 샘플 품질이 무너지는 문제를 겪습니다. 흐름 맵 언어 모델 (Flow Map Language Models, FMLMs)은 우수한 소수 단계 생성 (few-step generation)을 위해 결합 시퀀스 전송 (joint sequence transport)을 통해 이 병목 현상을 우회하지만, MDM의 추론 시간 유연성 (inference-time flexibility)을 희생합니다. 우리는 FMLM에 마스킹 스타일의 노이즈 스케줄 (masking-style noise schedules)을 장착하여 이 간극을 메우는 프레임워크인 FMLM+를 소개합니다. FMLM+는 단일 단계에서 전체 시퀀스를 생성하는 동시에, 각 토큰의 전역적 일관성 (global consistency)을 사후적으로 (a posteriori) 점수화합니다. 우리는 이를 활용하여 사후 정제 (Posterior Refinement)를 도입하는데, 이는 모델이 출력을 적응적으로 자기 수정 (self-correct)할 수 있게 하는 새로운 추론 시간 정제 전략으로, 32배 적은 NFE (Number of Function Evaluations)만으로도 이산적 베이스라인 (discrete baselines)의 성능과 일치하는 결과를 보여줍니다. 다양한 벤치마크에 걸쳐, 우리는 사후 정제를 적용한 FMLM+가 MDM 및 FMLM 계열 모두에 대해 속도-품질 트레이드오프 (speed--quality tradeoff)를 개선하며, 고충실도 언어 모델링 (high-fidelity language modeling)을 위한 확장 가능한 기반을 제공함을 입증합니다.