LLM 학습 방식을 바꿀 기술: 병렬 언어 모델(PLM)이 자가회귀 품질로 여러 토큰을 병렬 예측합니다.

요약

본 기술은 병렬 언어 모델(PLM)을 통해 대규모 언어 모델(LLMs)의 학습 방식을 혁신적으로 개선합니다. PLM은 자가회귀 품질을 유지하면서 여러 토큰을 병렬로 예측할 수 있으며, 이를 통해 사후 학습 단계에서 최대 5.7배의 속도 향상을 달성했습니다.

핵심 포인트

• PLM이 자가회귀 품질로 다중 토큰을 병렬 예측하는 새로운 방식을 제시함.
• 사전 학습 대비 사후 학습 시 최대 5.7배 빠른 속도를 구현함.
• AR 인코더와 빠른 병렬 디코더를 공동으로 훈련시키는 것이 핵심 레시피임.
• 상용 AR 및 확산 모델보다 우수한 파레토 프론티어에 위치한다고 주장함.