계층적 트리 구조 인덱서를 이용한 준이차 어텐션 (Subquadratic Attention)

요약

LLM의 장문맥 처리는 어텐션의 이차적 스케일링이 근본적인 병목입니다. 본 논문은 계층적 트리 구조 인덱서를 기반으로 하는 ZHA(Zyphra Hierarchical Attention)를 제안합니다. ZHA는 KV 캐시에 재귀적으로 압축된 키 요약 트리를 활용하여, 총 비용을 시퀀스 길이 대비 준이차적으로 낮추어 초장문맥 처리에 효과적입니다.

핵심 포인트

• ZHA는 계층적 트리 구조 인덱서를 사용하여 어텐션 병목 현상을 해결합니다.
• 총 계산 비용이 시퀀스 길이에 대해 준선형으로 증가하여 준이차적 스케일링을 달성합니다.
• KL 증류를 통해 기존 사전 학습 모델에 저렴하게 적용 가능하며 성능을 유지합니다.
• 100만 토큰 이상의 컨텍스트 창 확장 잠재력을 보여줍니다.