처음부터 학습할 필요가 없습니다.
기존의 사전 학습된 모델을 베이스 모델은 고정(freezing)한 채, 단지 몇 기가 토큰만으로 증류(distillation)하여 변환합니다. Qwen3.6-35B-A3B의 경우, ZHA는 81,920개의 학습 가능한 파라미터(~모델의 0.00024%)만을 추가합니다.
저희는 추론(reasoning), 코딩, 장문 컨텍스트 작업에 대해 ZHA를 테스트했습니다: AIME 2026, SWE-bench Verified, Terminal-Bench 2.1, GPQA, RULER, 그리고 LongBench v2.
Deep ZHA는 SWE-bench에서 dense 모델과 동일한 성능을 보입니다. LongBench v2에서는 디코드 키의 약 1.1%만 참조하면서도 dense 모델보다 우수한 성능을 발휘합니다.
결정적으로, 깊은 트리 구조가 실제로 작동합니다.
저희는 28가지 기하학적 구조를 테스트했습니다. 고정된 압축률에서 더 깊은 트리는 동일한 희소성(sparsity)에서도 종종 더 나은 검색 성능을 보여줍니다.
저희의 6단계 라우터는 256K 토큰에서 RULER-13에 대해 93.3%의 점수(dense 모델 대비 96.0%)를 기록했으며, 이때 디코드 키의 단지 2.8%만을 참조했습니다.
얼마나 빠를 수 있을까요?
저희 GPU 루프라인 모델은 ZHA가 dense attention을 약 48K 토큰에서, MSA(Multi-Scale Attention)를 약 480K 토큰에서 추월할 것으로 예측합니다. 1B 토큰에서는 dense 대비 약 373–417배, 그리고 MSA 대비 약 52–58배의 속도 향상이 예상됩니다.
하지만 top-p 선택이 왜 작동해야 하며, 이것이 실제로 준(sub)2차(subquadratic)인지에 대한 의문이 있습니다?
dense attention 모델에서는 top-p 세트가 자연스럽게 준선형(sublinear) 거듭제곱 법칙을 따르는 것으로 나타납니다.
이는 어텐션 자체가 이미 본질적으로 희소하다는 것을 시사합니다. ZHA는 단순히 이 구조를 밝혀내는 것입니다.
이것은 더 깊은 아이디어를 제시합니다: 초장문 컨텍스트에는 준2차 어텐션이 필요할 수 있습니다.
모든 것에 주의를 기울이면 신호가 잡음에 묻힙니다. 너무 희소하면 신호를 잃습니다.
계층적 어텐션(Hierarchical attention)은 효율성뿐만 아니라, 아예 어텐션 자체가 작동하기 위해 필수적일 수 있습니다.
100M 토큰 이상에서는 검색이 시퀀스 내의 예측 정보에 따라 성장해야 할 수도 있지만, 전체 컨텍스트만큼 빠르지는 않아야 합니다.
ZHA와 같은 계층적 방법은 이러한 균형을 향한 경로를 제공합니다.
논문:
https://arxiv.org/abs/2610.42112
블로그:
https://zyphra.com/our-work/zyphra-hierarchical-attention
…
@ZyphraAI는 샌프란시스코에 기반을 둔 풀 스택 슈퍼 인텔리전스 기업으로, 오픈 모델과 멀티실리콘 인프라를 통해 주권적 AI(sovereign AI)를 구현하는 것을 목표로 합니다.
저희와 함께할 기회를 신청해 주세요!
