대규모 흐름 언어 모델 (Large Flow Language Models)

요약

본 논문은 기존 이산 확산 방식의 한계를 극복하고 병렬 생성을 가능하게 하는 연속 흐름 언어 모델(Lafa)을 제안합니다. Lafa는 8B 매개변수로 빠르고 효율적인 성능을 보여주며, 인과적 어텐션과 블록별 양방향 비동기 흐름을 결합했습니다. 이 방식은 기존 자기회귀(AR) 모델의 품질을 유지하면서도 자체 투기적 디코딩 방식을 통해 높은 처리량을 달성합니다.

핵심 포인트

• Lafa는 연속적인 흐름 언어 모델로, 병렬 생성을 가능하게 합니다.
• 8B 매개변수로 빠르고 효율적인 성능을 구현했습니다.
• 자체 투기적 디코딩으로 AR 대비 2.54배 높은 처리량을 제공합니다.
• 흐름 훈련은 기존 AR 모델의 품질을 유지하거나 능가합니다.