🚀 KVSplit

Apple Silicon을 위한 차별화된 KV 캐시 양자화 (KV Cache Quantization)

📌 개요 (Overview)

어텐션 메커니즘 (Attention Mechanism)의 KV 캐시 (KV Cache)에서 키 (Keys)와 값 (Values)에 서로 다른 양자화 정밀도 (Quantization Precision)를 적용함으로써, Mac에서 더 큰 컨텍스트 윈도우 (Context Windows) 및 **더 무거운 LLM (Large Language Models)**을 실행할 수 있습니다. KVSplit을 통해 다음과 같은 작업이 가능합니다:

• 품질 저하를 최소화하면서 메모리 사용량을 최대 72%까지 절감
• 동일한 메모리 예산 내에서 2~3배 더 긴 컨텍스트 실행
• FP16 대비 추론 속도 (Inference Speed) 유지 또는 향상
• 전체 Metal 지원을 통한 Apple Silicon 최적화

주요 결과 (Key Findings)

시퀀스 길이별 메모리 절감 (Memory Savings by Sequence Length)

특징 (Features)

• KV 캐시 내 키 (Keys)와 값 (Values)의 독립적인 양자화
• Metal 지원을 통한 Apple Silicon 최적화
• 퍼플렉시티 (Perplexity) 측정을 포함한 종합적인 벤치마킹 스위트 (Benchmarking Suite)
• 메모리 사용량 및 성능 분석 도구
• 논문 출판 수준의 시각화 도구
• 간편한 설정 및 사용

요구 사항 (Prerequisites)

• macOS (Apple Silicon에서 테스트됨)
• Homebrew 패키지 관리자
• Xcode Command Line Tools

⚡ 유연한 설치 (Flexible Installation)

# 리포지토리 클론 (Clone the repository)
git clone https://github.com/dipampaul17/KVSplit.git
cd kvsplit
...

설치 프로그램은 유연한 옵션을 제공합니다:

🐍 Python 설정 옵션

• 가상 환경 (Virtual Environment) (기본값): 프로젝트 폴더 내에 독립적인 Python 환경을 생성합니다.
• 시스템 Python (System Python): 가상 환경을 생성하는 대신 기존에 설치된 Python을 사용합니다.
• Python 설정 건너뛰기 (Skip Python Setup): Python 환경을 수동으로 관리하는 것을 선호하는 사용자를 위한 옵션입니다.

🔄 llama.cpp 통합 옵션

• 표준 방식 (Standard Method) (기본값): llama.cpp를 클론(Clone)하고 KV 분할 패치(KV split patch)를 적용합니다.
• Git 서브모듈 방식 (Git Submodule Method): llama.cpp를 git 서브모듈(submodule)로 추가합니다 (고급 사용자 또는 개발자에게 이상적임).

설치 프로그램은 다음 작업을 수행합니다:

• 선택한 설정에 따라 프로젝트 구조를 설정합니다.
• Apple Silicon에 최적화된 Metal 지원을 포함하여 llama.cpp를 구성합니다.
• 차등화된 KV 캐시 양자화 (KV cache quantization)를 활성화합니다.
• 소형 테스트 모델 다운로드를 제안합니다 (선택 사항).
• 사용자의 Python 선호도에 따라 시각화 도구를 설정합니다.

🏎️ 빠른 비교

이점을 즉시 확인하고 싶으신가요? 사용 중인 모델로 빠른 비교를 실행해 보세요:

# 다양한 설정으로 빠른 비교 실행
python scripts/quick_compare.py --model models/your-model.gguf

이를 통해 FP16, K8V8, K8V4, K4V8, K4V4의 메모리 사용량, 속도 및 품질 지표를 나란히 비교하여 보여줍니다.

📊 인상적인 결과

📉 메모리 감소

📈 성능 영향

KVSplit을 사용하면 메모리만 절약되는 것이 아니라, 종종 추론 속도 (inference speed)를 5-15% 향상시킵니다!

🧠 프로젝트 구조

kvsplit/
├── llama.cpp/      # 최적화된 llama.cpp 빌드
├── models/         # LLM 모델 파일
...

🔬 과학적 통찰 (Scientific Insight)

KV 캐시 (KV cache) 메모리는 각 토큰에 대한 키 (key) 및 값 (value) 벡터를 저장하는 데 대부분 사용됩니다. 우리의 연구를 통해 중요한 통찰을 얻었습니다: 키 (keys)는 값 (values)보다 양자화 (quantization)에 훨씬 더 민감합니다.

🔑 주요 발견 사항 (Key Findings)

• 비대칭적 영향 (Asymmetric Impact): 품질 유지를 위해 키 (keys)는 값 (values)보다 더 높은 정밀도 (precision)를 요구합니다.
• 최적의 지점 (Sweet Spot): K8V4 (8-bit keys, 4-bit values) 구성이 최적의 균형을 제공합니다.
  • FP16 대비 퍼플렉시티 (perplexity) 저하가 0.86%에 불과함
  • 메모리 59% 절감
  • FP16보다 빠른 추론 (inference)
• 확인 (Confirmation): K4V8 구성은 동일한 총 비트 (total bits)를 사용함에도 불구하고 K8V4보다 7배 더 높은 품질 저하를 보입니다.

이러한 비대칭성을 활용하면 모델 품질을 저하시키지 않으면서도 더 효율적인 메모리 사용이 가능하며, 이를 통해 소비자용 하드웨어에서 더 긴 컨텍스트 창 (context windows)과 더 큰 모델을 실행할 수 있습니다.

💻 사용 예시 (Usage Examples)

다양한 KV 캐시 정밀도로 실행하기

# 기준점 (Baseline, FP16)
./llama.cpp/build/bin/llama-cli -m models/your-model.gguf -p "Your prompt" \
  -t 8 --flash-attn
...

긴 컨텍스트 예시 (32K)

# 32K 컨텍스트로 실행 (FP16에서는 약 1.4GB가 필요하지만, K8V4로는 약 400MB만 필요함)
./llama.cpp/build/bin/llama-cli -m models/your-model.gguf \
  -c 32768 -n 4096 -t 8 --flash-attn --kvq 8 \
...

🚩 명령줄 인자 (Command-Line Arguments)

📏 고급 벤치마킹 (Advanced Benchmarking)

포괄적인 성능 분석을 위해 당사의 전체 벤치마크 스위트 (benchmark suite)를 사용하십시오:

# 전체 벤치마크 스위트 실행 (모든 구성 및 시퀀스 길이 포함)
python scripts/benchmark_kvsplit.py

...

벤치마킹 스크립트는 다음 항목에 대한 철저한 측정을 제공합니다:

• 📊 메모리 사용량 (Memory Usage): 특히 VRAM 및 KV 캐시 (KV cache) 측정
• ⚡ 성능 (Performance): 다양한 시퀀스 길이 (sequence lengths)에 따른 초당 토큰 수 (Tokens per second)
• 🎯 품질 (Quality): llama-perplexity를 사용한 퍼플렉시티 (Perplexity) 측정
• 📈 확장성 (Scaling): 시퀀스 길이에 따른 메모리 사용량 및 성능의 확장 방식

결과는 자동 요약 통계가 포함된 CSV/JSON 형식으로 저장되며, 시각화 스크립트는 주요 통찰을 보여주는 출판물 수준의 그래프를 생성합니다.

라이선스 (License)

MIT

🎬 시각적 메모리 절감 효과 (Visual Memory Savings)

저희의 캡처 도구를 사용하여 메모리 절감 효과를 시각화할 수 있습니다:

# 활성 상태 보기 (Activity Monitor)에서 메모리 감소 캡처
./scripts/capture_memory.sh

🍎 Apple Silicon 최적화 (Apple Silicon Optimization)

• Metal 성능 (Metal Performance): Apple의 Metal 프레임워크에 완전히 최적화됨
• 메모리 효율성 (Memory Efficiency): 메모리가 제한된 M 시리즈 Apple Silicon 기기에 매우 중요함
• 활성 상태 보기 (Activity Monitor): capture_memory.sh 스크립트를 사용하여 실시간 메모리 감소를 시각화
• 정렬 (Alignment): llama.cpp의 256B 페이지 정렬 (page alignment)으로 인해 실제 메모리 절감량은 이론적 계산과 약간 다를 수 있음

⭐ 주요 기능 (Key Features)

• 차별화된 정밀도 (Differentiated Precision): 독립적인 Key 및 Value 비트 정밀도 (K8V4, K4V8 등)
• Apple Silicon 최적화 (Apple Silicon Optimization): M1/M2/M3/M4 칩을 위한 완전한 Metal 지원
• 포괄적인 벤치마킹 (Comprehensive Benchmarking): 메모리, 속도 및 품질 지표
• 출판물 수준의 시각화 (Publication-Quality Visualization): 분석을 위한 아름다운 그래프
• 간편한 사용자 인터페이스 (Simple User Interface): 한 번의 명령으로 설치 및 빠른 비교 도구
• 메모리 시각화 (Memory Visualization): 메모리 절감 효과를 캡처하고 시각화하는 도구

🙏 감사의 글 (Acknowledgments)

이 프로젝트는 다음을 포함한 최근 연구의 아이디어들을 구현합니다:

• "More for Keys, Less for Values: Adaptive KV Cache Quantization" (2024)
• "Unifying KV Cache Compression for Large Language Models with LeanKV" (2025)

추가 크레딧:

• llama.cpp - 기본 구현 (Base implementation)
• TinyLlama - 테스트 모델

Contributing

기여를 환영합니다! 이슈(Issue)를 생성하거나 풀 리퀘스트(Pull Request)를 제출해 주세요.

🧠 설정 권장 사항 (Configuration Recommendations)

• 종합 베스트: 🌟 K8V4 🌟 (8-bit keys, 4-bit values)

  • 단 0.86%의 품질 저하로 59%의 메모리 절감
  • 추론 속도 향상 (FP16 대비 +5.7%)
  • 품질과 효율성의 훌륭한 균형

• 절대적 최대 메모리 절감: K4V4 (4-bit keys and values)

  • 약 6%의 품질 저하로 72%의 메모리 절감
  • 메모리가 제한된 장치에 적합
  • 민감도가 낮은 애플리케이션에서 수용 가능

• 매우 긴 컨텍스트(Very Long Contexts)에 최적: K8V4 또는 K4V4

  • 컨텍스트 길이가 길어질수록 메모리 절감 효과가 복리로 적용됨
  • 동일한 메모리 예산 내에서 2~3배 더 긴 컨텍스트 실행 가능

🔮 향후 로드맵 (Future Roadmap)

• 적응형 정밀도 (Adaptive Precision): 토큰 중요도에 따른 동적 정밀도 적용
• 레이어별 양자화 (Layer-Specific Quantization): 모델의 각 레이어마다 다른 정밀도 적용
• 모델별 최적화 (Model-Specific Optimizations): Mistral, Phi-3 등에 맞춤화
• 웹 데모 (Web Demo): 대화형 테스트 환경
• 모바일 지원 (Mobile Support): iOS 및 iPadOS를 위한 최적화

📜 라이선스 (License)

MIT

🤝 Contributing

기여를 환영합니다! 이슈(Issue)를 생성하거나 풀 리퀘스트(Pull Request)를 제출해 주세요.