v0.19.0rc0: [Feat][v1] 간단하면서도 일반적인 CPU KV 캐시 오프로딩(#37160)

요약

이 기술 기사는 v0.19.0rc0 버전에서 도입된 CPU KV Cache Offloading 기능을 소개합니다. 이 기능은 간단하면서도 범용적으로 사용 가능하며, 모델의 추론 과정에서 발생하는 키-값(KV) 캐시를 CPU 메모리로 오프로드하여 효율성을 높이는 것을 목표로 합니다. 이는 특히 리소스 제약이 있거나 최적화가 필요한 환경에서 성능 향상에 기여할 것으로 기대됩니다.

핵심 포인트

• CPU KV Cache Offloading 기능 추가 (v0.19.0rc0)
• KV 캐시를 CPU 메모리로 오프로드하여 효율성 개선
• 간단하면서도 범용적으로 적용 가능한 최적화 기술
• 모델 추론 과정의 리소스 관리 및 성능 향상에 기여