Looped Uniform Diffusion Language Models

요약

본 논문은 Uniform diffusion language models (UDLMs)에 선택적 루핑(selective looping)을 적용하여 모델의 훈련 효율성을 개선하는 방법을 제안합니다. 이 방법은 기존 UDLM과 동일한 성능을 유지하면서도 최대 2.8배 적은 FLOPs로 학습할 수 있게 합니다. 또한, 최적의 추론 효율성을 위해 작은 루프 카운트를 더 자주 샘플링하는 전략도 제시했습니다.

핵심 포인트

• 루핑 적용 시 UDLM이 기존 대비 최대 2.8배 낮은 FLOPs로 유사 성능 달성
• 최소한의 NFE 예산에서 루프는 비(非)루프 모델보다 낮은 퍼플렉서티 달성
• 추론 효율성을 위해 작은 루프 카운트를 더 자주 샘플링하는 것이 효과적임