생성 중에는 각 쿼리가 트리의 최상단에서 시작하여 유망한 가지를 따라 원래의 키로 재귀적으로 이동합니다.
Top-K 라우팅은 컨텍스트가 증가함에 따라 증거를 폐기해야 하지만, top-p는 적응합니다. 정밀한 검색은 몇 개의 가지만 탐색하지만, 복잡한 쿼리는 더 많은 가지를 탐색할 수 있습니다.
왜 트리가 필요한가요?
많은 희소 어텐션(sparse-attention) 방식은 경량 인덱서(lightweight indexers)를 사용하여 최종 어텐션 비용을 줄이지만, 여전히 이차 비용(quadratic cost)이 발생합니다.
ZHA는 검색 자체를 희소하게 만듭니다. 그리고 고정 상태 모델과 달리, 정밀한 검색을 위해 전체 KV 캐시(KV cache)를 보존합니다.
처음부터 학습할 필요가 없습니다.
기본 모델을 고정(freezing)하면서 단지 수십억 개의 토큰만으로 증류(distillation)하여 기존 사전 학습된 모델을 변환합니다. Qwen3.6-35B-A3B의 경우, ZHA는 81,920개의 학습 가능한 매개변수(~모델의 0.00024%)만을 추가합니다.
우리는 추론, 코딩 및 장문맥 작업에 ZHA를 테스트했습니다: AIME 2026, SWE-bench Verified, Terminal-Bench 2.1, GPQA, RULER, 그리고 LongBench v2.
Deep ZHA는 SWE-bench에서 밀집(dense) 모델과 동등합니다. LongBench v2에서는 디코드 키의 약 1.1%만 참조하면서도 밀집 모델을 능가합니다.
결정적으로, 깊은 트리가 실제로 작동합니다.
우리는 28개의 기하학적 구조(geometries)를 테스트했습니다. 고정 압축률에서 더 깊은 트리는 종종 동일한 희소성 수준에서 더 나은 검색 결과를 얻습니다.
저희의 6단계 라우터는 256K에서 RULER-13에 93.3%를 기록했으며(밀집 모델 대비 96.0%), 디코드 키의 단지 2.8%만을 참조했습니다.
얼마나 빠를 수 있을까요?
저희의 GPU 루프라인 모델은 ZHA가 약 48K 토큰에서 밀집 어텐션을 추월하고, 약 480K에서 MSA(Multi-Scale Attention)를 추월할 것으로 예측합니다. 1B 토큰에서는 밀집 대비 약 373–417배, MSA 대비 약 52–58배의 속도 향상을 예상합니다.
하지만 왜 top-p 선택이 작동해야 하며, 실제로 준이차(subquadratic)일까요?
밀집 어텐션 모델에서는 top-p 세트가 자연스럽게 준선형 거듭제곱 법칙(sublinear power law)처럼 확장된다는 것이 밝혀졌습니다.
이는 어텐션이 이미 본질적으로 희소하다는 것을 시사합니다. ZHA는 단순히 이 구조를 발견해내는 것입니다.
이는 더 깊은 아이디어를 시사합니다: 초장문맥(ultra-long contexts)은 준이차 어텐션을 필요로 할 수 있습니다. 모든 것에 주의를 기울이면 신호가 노이즈에 묻힙니다. 너무 희소하면 신호를 잃게 됩니다.
계층적 어텐션(Hierarchical attention)은 효율성뿐만 아니라 어텐션 자체가 작동하는 데 필수적일 수 있습니다.
1억 토큰(tokens) 이상에서는 검색(retrieval)이 시퀀스 내의 예측 정보와 함께 증가해야 할 수 있지만, 전체 컨텍스트보다는 훨씬 느리게 증가할 필요가 있습니다.
ZHA와 같은 계층적 방법론은 이러한 균형을 달성하는 경로를 제공합니다.
논문(Paper):
https://arxiv.org/abs/2610.42112
블로그(Blog):
https://zyphra.com/our-work/zyphra-hierarchical-attention
…
