BitMTP: 멀티 토큰 예측과 저비트 대규모 언어 모델의 만남

요약

본 논문은 초저비트 LLM 백본과 멀티 토큰 예측(MTP)을 결합하여 효율적인 LLM 생성을 위한 BitMTP 프레임워크를 제안합니다. BitMTP는 자기회귀적 생성과 블록 인과 드래프팅을 통합하고, 별도 모델 없이 다양한 디코딩 방식을 제공합니다. NVIDIA H20 등에서 테스트 결과, 기존 대비 높은 처리량 및 속도 향상을 입증했습니다.

핵심 포인트

• BitMTP는 초저비트 LLM 백본에 MTP를 결합한 알고리즘-시스템 프레임워크입니다.
• 자기회귀적 생성과 블록 인과 드래프팅을 단일 모델에서 통합합니다.
• 별도의 드래프트/검증 모델 없이 다양한 디코딩 방식을 지원합니다.
• NVIDIA H20 등에서 평균 2.1~2.4배의 속도 향상을 달성했습니다.