BasisKV: 통신 및 키 라우팅을 위한 값 잠재 변수

요약

BasisKV는 긴 컨텍스트 LLM 추론 시 발생하는 KV-cache 비용 문제를 해결하기 위해 제안된 저랭크 압축 방법입니다. 이 방식은 분산 환경에서의 통신 효율성을 높이는 데 초점을 맞추었으며, Value 캐시를 재사용하여 Key 라우팅 정보를 예측하고 전체 어텐션 출력에 대해 공동으로 저랭크 팩터를 최적화합니다.

핵심 포인트

• 분산 추론에서 텐서 병렬 통신 비용이 중요한 병목 지점임을 강조했습니다.
• Value 압축을 출력 투영과 연관시켜 캐시 폭 및 통신량을 동시에 줄입니다.
• BasisKV는 파티션별 최적화가 아닌, 전체 어텐션 출력을 공동으로 최적화합니다.
• 8-GPU 텐서 병렬 환경에서 기존 대비 최대 1.42배의 속도 향상을 달성했습니다.