[논문] 올바른 다중 토큰 예측 구현: Soft-MTP

요약

다중 토큰 예측(MTP)은 LLM의 핵심 요소이지만, 표준 학습 과정에서 발생하는 기울기 잔여 성분이 성능 저하를 일으키는 결함이 발견되었습니다. 본 논문은 KL 기울기 복구 트릭을 도입한 Soft-MTP를 제안합니다. 이는 노이즈가 있는 잔여 성분을 제거하고 순수한 자가 증류 신호만을 역전파하여, 모든 규모에서 표준 MTP보다 우수함을 입증했습니다.

핵심 포인트

• 표준 MTP 학습은 기울기 잔여 성분으로 인해 성능 저하를 겪음.
• Soft-MTP는 KL 기울기 복구 트릭을 통해 노이즈를 제거하고 자가 증류 신호만 사용함.
• 추가 파라미터나 오버헤드 없이 기존 계산을 재사용하여 효율적임.
• 모든 모델 규모에서 표준 MTP 대비 낮은 퍼플렉서티와 높은 정확도를 보임.