ACCT: 비대칭적인 크로스-LLM 컨텍스트 전송

요약

ACCT(Asymmetric Cross-LLM Context Transfer)는 이기종 LLM 배포 환경에서 발생하는 반복적인 컨텍스트 계산 비용을 줄이기 위해 제안된 기술입니다. 소스 모델의 KV cache를 타겟 모델이 직접 소비할 수 있는 희소 상태로 변환하여, 크로스-모델 컨텍스트 재사용을 가능하게 합니다. 실험 결과, ACCT는 KV 캐시 크기를 75% 줄여도 성능 저하 없이 최대 21.2배의 속도 향상을 달성했습니다.

핵심 포인트

• ACCT는 이기종 LLM 간 KV cache 전송을 목표로 합니다.
• Cartographer, Allocator, Compiler 세 가지 구성 요소가 작동합니다.
• 컨텍스트 재처리를 생략하여 계산 비용을 획기적으로 절감합니다.
• 19K 토큰 컨텍스트에서 최대 21.2배의 속도 향상을 입증했습니다.