Kwai Summary Attention 기술 보고서

요약

긴 컨텍스트 처리는 LLM의 핵심 과제이지만, 표준 어텐션 메커니즘은 시퀀스 길이에 따라 2차 시간 복잡도로 인해 메모리 및 계산 비용이 급증하는 문제가 있습니다. 기존 해결책들은 KV 캐시를 줄이거나 로컬 주의에 의존하지만, 이는 성능과 효율성 사이의 트레이드오프가 존재합니다. 본 보고서는 이 간극을 메우기 위해, 컨텍스트를 학습 가능한 요약 토큰으로 압축하여 시퀀스 모델링 비용을 낮추는 새로운 'Kwai Summary Attention (KSA)' 메커니즘을 제안합니다.

핵심 포인트

• 표준 어텐션의 2차 시간 복잡도는 긴 문맥 처리의 주요 병목 현상입니다.
• 기존 효율화 방법(GQA, MLA 등)은 KV 캐시가 시퀀스 길이에 선형적으로 의존하는 문제를 완전히 해결하지 못합니다.
• KSA는 컨텍스트를 학습 가능한 요약 토큰으로 압축하여 모델링 비용을 줄이는 새로운 접근 방식을 제시합니다.
• 이 방식은 메모리 절감과 더불어 먼 의존성에 대한 완전한 참조 및 해석 가능성을 유지하려 합니다.