v0.19.0rc0: [Feat][v1] Simple yet General CPU KV Cache Offloading (#37160)
요약
이 기술 기사는 v0.19.0rc0 버전에서 도입된 CPU KV Cache Offloading 기능을 소개합니다. 이 기능은 간단하면서도 범용적으로 사용 가능하며, 모델의 추론 과정에서 발생하는 키-값(KV) 캐시를 CPU 메모리로 오프로드하여 효율성을 높이는 것을 목표로 합니다. 이는 특히 리소스 제약이 있거나 최적화가 필요한 환경에서 성능 향상에 기여할 것으로 기대됩니다.
핵심 포인트
- CPU KV Cache Offloading 기능 추가 (v0.19.0rc0)
- KV 캐시를 CPU 메모리로 오프로드하여 효율성 개선
- 간단하면서도 범용적으로 적용 가능한 최적화 기술
- 모델 추론 과정의 리소스 관리 및 성능 향상에 기여
AI CODE CREATIONGitHub CopilotWrite better code with AIGitHub SparkBuild and deploy intelligent appsGitHub ModelsManage and compare promptsMCP RegistryNewIntegrate external toolsDEVELOPER WORKFLOWSActionsAutomate any workflowCodespacesInstant dev environmentsIssuesPlan and track workCode ReviewManage code changesAPPLICATION SECURITYGitHub Advanced SecurityFind and fix vulnerabilitiesCode securitySecure your code as you buildSecret protectionStop leaks before they startEXPLOREWhy GitHubDocumentationBlogChangelogMarketplaceView all featuresBY COMPANY SIZEEnterprisesSmall and medium teamsStartupsNonprofitsBY USE CASEApp ModernizationDevSecOpsDevOpsCI/CDView all use casesBY INDUSTRYHealthcareFinancial servicesManufacturingGovernmentView all industriesView all solutionsEXPLORE BY TOPICAISoftware DevelopmentDevOpsSecurityView all topicsEXPLORE BY TYPECustomer storiesEvents & webinarsEbooks & reportsBusiness insightsGitHub SkillsSUPPORT & SERVICESDocumentationCustomer supportCommunity forumTrust centerPartnersView all resourcesCOMMUNITYGitHub SponsorsFund open source developersPROGRAMSSecurity LabMaintainer CommunityAcceleratorGitHub StarsArchive ProgramREPOSITORIESTopicsTrendingCollectionsENTERPRISE SOLUTIONSEnterprise platformAI-powered developer platformAVAILABLE ADD-ONSGitHub Advanced SecurityEnterprise-grade security featuresCopilot for BusinessEnterprise-grade AI featuresPremium SupportEnterprise-grade 24/7 supportPricing
AI 자동 생성 콘텐츠
본 콘텐츠는 vLLM Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기