b11644: kv-cache: plain KV cache에서 PARTIAL_ONLY를 처리하도록 개선 (#30514)

요약

본 기술 기사는 Llama의 KV 캐시 구현 개선 사항을 다룹니다. 기존에는 plain KV 캐시가 PARTIAL_ONLY 플래그를 무시하고 모든 셀을 직렬화하여, 임시 컨텍스트에서 불필요하게 큰 메모리 사용량을 초래했습니다. 이번 업데이트로 캐시는 SWA인 경우를 제외하고 PARTIAL_ONLY에 대해 쓰기/읽기를 수행하지 않게 되어 메모리 효율성이 크게 향상되었습니다.

핵심 포인트

• plain KV 캐시가 PARTIAL_ONLY 플래그를 무시하던 문제를 해결함.
• 임시 컨텍스트에서 불필요한 전체 KV 복사 및 메모리 증가 문제가 개선됨.
• 이제 각 캐시 래퍼들이 스스로 플래그를 적용하여 효율성을 높임.