K-Forcing: Push-Forward Language Modeling을 통한 공동 Next-K-Token 디코딩

요약

K-Forcing은 기존 자기회귀(AR) 모델의 메모리 대역폭 제한 문제를 해결하기 위해 제안된 Push-Forward 언어 모델링 패러다임입니다. 단 한 번의 순전파로 여러 미래 토큰을 동시에 생성하여 고부하 배치 서빙 환경에서 추론 속도를 획기적으로 높입니다.

핵심 포인트

• 기존 AR 모델을 조건부 Push-Forward 매핑으로 증류하여 효율성 극대화
• 단일 순전파를 통해 k개의 토큰을 공동 샘플링하는 방식 도입
• 표준 AR 서빙 인프라와 호환되며 교사 모델의 백본 재사용 가능
• LM1B 및 OpenWebText 평가 결과, 약 2.4~3.5배의 속도 향상 달성