DLite: 에이전트 AI를 위한 히스토리 비저장형 추측 디코딩

요약

본 논문은 에이전트 AI의 복잡하고 긴 상호작용에서 발생하는 추론 속도 저하 문제를 해결하기 위해 DLite라는 새로운 프레임워크를 제안합니다. DLite는 역사적 KV 캐시를 명시적으로 저장하지 않고, 대상 모델의 은닉 상태를 직접 재사용하여 효율성을 높입니다. 이를 통해 기존 방법 대비 월등히 향상된 성능을 보여줍니다.

핵심 포인트

• 에이전트 워크로드에서 발생하는 컨텍스트 길이 저하 문제를 해결함.
• 역사적 KV 캐시 저장 오버헤드를 제거하는 히스토리 비저장형 아키텍처를 사용함.
• 대상 모델의 은닉 상태 재사용을 통해 효율성을 극대화함.
• 기존 방법 대비 최대 70% 향상된 성능(2~6 수용 길이)을 달성함.