올바르게 수행된 다중 토큰 예측 (Multi-Token Prediction)

요약

본 글은 Multi-Token Prediction(MTP)의 개선 방안을 제시하는 연구 논문을 공유합니다. 표준 MTP 기울기에서 노이즈 잔여물 뒤에 숨겨진 KL 자가 증류 신호를 추출하는 'KL gradient–recovery 트릭'을 제안했습니다. 이를 통해 Soft Multi-Token Prediction (Soft-MTP)이라는 방식으로 MTP를 개선할 수 있습니다.

핵심 포인트

• Multi-Token Prediction(MTP)은 최첨단 사전 학습의 표준 레시피입니다.
• 표준 MTP 기울기에서 KL 자가 증류 신호를 추출하는 트릭을 발견했습니다.
• 'KL gradient–recovery' 기법으로 Soft-MTP를 구현할 수 있으며, 코드 변경이 간단합니다.
• Soft-MTP는 다양한 작업 전반에 걸쳐 MTP 성능 개선의 잠재력을 가집니다.