llama.cpp의 텐서 병렬화 (tensor parallelism) 이슈 수정 및 Dual GPU 성능 개선 결과

요약

llama.cpp의 텐서 병렬화(tensor parallelism) 기능이 양자화된 KV 캐시를 지원하지 않던 문제를 해결하기 위한 수정 사항을 소개합니다. 작성자가 개발한 브랜치를 통해 Dual GPU 환경에서 Qwen3.5 27B 모델 테스트 시 기존 대비 약 40% 이상의 토큰 생성 속도 향상을 확인했습니다.

핵심 포인트

• llama.cpp의 '--split-mode tensor'가 비양자화 KV 캐시만 지원하던 제약 사항을 해결함
• 양자화된 KV 캐시(Q8_0 등)를 사용하면서도 텐서 병렬화 기능을 활용 가능함
• Dual GPU(3060 12GB + 4070 Super 12GB) 환경에서 텐서 병렬화 적용 시 토큰 생성 속도가 약 40% 향상됨
• 최신 MTP(Multi-Token Prediction) 변경 사항을 지원함