Gemma 4에 대한 바이트 단위 KV 캐시 그래프팅
요약
본 글은 검증된 지식을 KV 상태로 저장하고, 이를 새로운 계산과 바이트 단위로 복원하는 방법을 발표합니다. Gemma 4 12B 모델에 적용했을 때, 기존 라우팅 시스템의 성능을 AIME 2025에서 76.7%에서 90.0%로 향상시킨 연구 결과를 제시했습니다.
핵심 포인트
- 검증된 지식을 KV 상태로 저장하고 복원하는 방법론 제안
- Gemma 4 12B 모델에 적용하여 성능 개선 입증
- 기존 라우팅 시스템의 성능을 크게 향상시킴 (76.7% -> 90.0%)
저희는 검증된 지식을 KV 상태로 저장하고, 이를 새로운 계산과 바이트 단위로 동일하게 복원하는 방법을 발표했습니다. Gemma 4 12B에서 캐싱된 지식은 기존 라우팅 시스템의 성능을 AIME 2025에서 76.7%에서 90.0%로 향상시켰습니다. 이 내용을 7월 19일 AGI Summit에서 발표할 예정입니다. 논문: https://arxiv.org/abs/2607.14431 /u/MindPsychological140 제출 [링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기