롱컨텍스트 LLM 서빙할 때 GPU 메모리 터지는 병목 확실하게 잡고 싶을 때 뜯어볼 만한 오픈소스 저장소임. Llama-3.1-8B 기준으로

요약

Llama-3.1-8B 모델의 롱컨텍스트 서빙 시 발생하는 GPU 메모리 병목을 해결하기 위한 오픈소스 기술을 소개합니다. KV 캐시를 최대 11.2배 압축하며, RoPE 해제, PCA, 아다마르 변환 및 벡터 양자화를 결합한 하이브리드 구조를 사용합니다.

핵심 포인트

• Llama-3.1-8B 기준 32K 컨텍스트에서 KV 캐시 11.2배 압축
• RoPE 해제 및 PCA를 활용한 K값 최적화
• 아다마르 변환과 벡터 양자화를 결합한 V값 하이브리드 구조
• 자체 AI 인프라 설계 시 가이드라인으로 활용 가능