ReasonAlloc: 추론 모델을 위한 계층적 디코딩 시간 KV 캐시 예산 할당

요약

ReasonAlloc은 긴 사고 사슬(CoT)을 사용하는 LLM의 KV 캐시 병목 현상을 해결하기 위한 새로운 훈련 불필요(Training-free) 프레임워크입니다. 레이어별 사전 할당과 실시간 헤드별 재할당을 통해 추론 성능을 유지하면서도 효율적인 메모리 관리를 가능하게 합니다.

핵심 포인트

• CoT 추론 시 발생하는 급격한 KV 캐시 증가 문제 해결
• 레이어 및 헤드 단위의 계층적 예산 할당 전략 제안
• DeepSeek-R1 계열 모델의 수학적 추론 성능 입증
• 기존 토큰 제거 정책과 결합 가능한 플러그 앤 플레이 방식