간단한 확산 언어 모델이 보고된 것보다 더 효과적인 소수 단계 생성기인 이유

요약

본 연구는 확산 언어 모델(DLMs)의 샘플링 효율성을 개선하는 새로운 방법론을 제시합니다. 기존 DLM은 고품질 생성을 위해 많은 단계가 필요했지만, 사소한 샘플러 개선만으로도 후속 모델과 경쟁할 수 있음을 입증했습니다. 이는 품질과 의미론적 다양성 모두를 향상시키며, 평가 지표의 한계점 또한 제시합니다.

핵심 포인트

• 사소한 샘플러 개선만으로 DLM 성능을 크게 향상시킬 수 있습니다.
• 16단계 생성으로 1024단계 표준 샘플링보다 낮은 퍼플렉시티를 달성했습니다.
• 품질과 의미론적 다양성을 별도로 평가하는 GroupEval의 필요성을 제기합니다.
• 샘플러 개선은 병렬 언마스킹 과정에서 예측-생성 간 격차를 만듭니다.