NgramRL: 롤아웃 인식 N-그램 추측 디코딩을 통한 구조화 생성 RL 후 학습 가속화

요약

LLM의 강화학습 후 학습은 자가회귀적 롤아웃 생성 비용이 높아 효율성 문제가 발생합니다. 본 논문은 최근 롤아웃 이력을 활용하여 프롬프트별 N-그램 드래프터를 제안하는 NgramRL을 소개합니다. 이는 보조 모델 없이도 높은 처리량을 달성하며, 적응형 팬아웃 프리패처를 통해 추론 속도를 크게 향상시키는 새로운 방법을 제시했습니다.

핵심 포인트

• LLM RL 후 학습의 병목은 자가회귀적 롤아웃 생성 비용입니다.
• NgramRL은 최근 롤아웃 이력을 활용하여 드래프터를 구성합니다.
• 보조 모델이나 지속적인 GPU 메모리 없이 작동하는 것이 특징입니다.
• 적응형 팬아웃 프리패처가 추론 속도와 처리량을 크게 개선했습니다.