요약

본 논문은 기존 확산 언어 모델(DLM)의 성능 저하 및 순차 처리 한계를 극복하기 위해 Next-Concept Modeling (NCM)이라는 Coarse-to-Fine 프레임워크를 제안합니다. NCM은 다중 스케일 VQ-VAE로 텍스트를 계층적 코드로 인코딩하고, 트랜스포머가 모든 레벨의 코드를 병렬 예측하여 효율성을 극대화했습니다. 그 결과, 기존 최고 성능 모델 대비 월등히 빠른 속도와 경쟁력 있는 생성 품질을 동시에 달성했습니다.

핵심 포인트

• NCM은 Coarse-to-Fine 구조를 채택하여 텍스트 생성을 병렬적으로 처리합니다.
• 다중 스케일 VQ-VAE를 활용해 텍스트를 계층적 이산 코드로 인코딩하는 것이 핵심입니다.
• 기존 DLM 대비 최대 $31 imes$ 더 빠른 속도를 보여주면서도 성능을 유지했습니다.
• Sudoku 추론 등 다양한 작업에서 자기회귀 및 확산 모델보다 우수한 성능을 입증했습니다.