알림: 놓쳤다면 확률적 MTP를 시도해 보세요. 산문 생성에서 +14% 디코드

요약

llama.cpp에 확률적 MTP(Maximum Transcript Probability) 디코딩 기법이 추가되었습니다. 이 업데이트는 특히 산문 생성 작업에서 최대 +14%의 성능 향상을 보여주었습니다. 최적의 파라미터 설정은 그리디 샘플링과 유사한 것으로 확인되었습니다.

핵심 포인트

• llama.cpp에 확률적 MTP 디코딩 기능이 추가됨.
• 산문 생성(prose generation)에서 최대 14% 성능 향상 기대.
• 최적 파라미터는 그리디 샘플링과 유사함.