하지만 왜 top-p 선택이 작동해야 하며, 이것이 실제로 준2차(subquadratic)인가?

우리는 ZHA를 추론(reasoning), 코딩(coding), 그리고 장문 컨텍스트 작업에 테스트했습니다: AIME 2026, SWE-bench Verified, Terminal-Bench 2.1, GPQA, RULER, 그리고 LongBench v2.

Deep ZHA는 SWE-bench에서 밀집 모델(dense)과 일치합니다. LongBench v2에서는 약 1.1%의 디코드 키에만 어텐션하면서도 밀집 모델보다 뛰어난 성능을 보였습니다.

결정적으로, 깊은 트리가 실제로 작동한다는 것을 보여줍니다.

우리는 28가지 기하학적 구조를 테스트했습니다. 고정된 압축률에서 더 깊은 트리가 동일한 희소성(sparsity)에서도 종종 더 나은 검색 결과를 가져왔습니다.

저희의 6단계 라우터는 256K 토큰에서 RULER-13에서 93.3%의 점수를 기록했습니다 (밀집 모델 대비 96.0%). 이는 단지 디코드 키의 2.8%에만 어텐션했기 때문입니다.

얼마나 빠를 수 있을까요?

저희의 GPU 루프라인(roofline) 모델은 ZHA가 약 48K 토큰에서 밀집 어텐션을, 그리고 MSA에서는 약 480K 토큰에서 추월할 것으로 예측합니다. 1B 토큰에서는 각각 밀집 대비 약 373–417배, MSA 대비 약 52–58배의 속도 향상을 예상합니다.

하지만 왜 top-p 선택이 작동해야 하며, 이것이 실제로 준2차(subquadratic)인가?

밀집 어텐션 모델에서는 top-p 집합이 자연스럽게 준선형 지수 법칙(sublinear power law)처럼 확장된다는 것이 밝혀졌습니다.

이는 어텐션 자체가 본질적으로 희소하다는 것을 시사합니다. ZHA는 단순히 이 구조를 발견해내는 것입니다.

이는 더 깊은 아이디어를 시사합니다: 초장문 컨텍스트는 준2차 어텐션을 요구할 수 있습니다.

모든 것에 어텐션하면, 신호가 노이즈에 묻힙니다. 너무 희소하면, 우리는 신호를 잃습니다.

계층적 어텐션(Hierarchical attention)은 효율성뿐만 아니라 어텐션 자체가 작동하기 위해 필수적일 수 있습니다.

100M 토큰 이상에서는 검색이 시퀀스 내의 예측 정보와 함께 성장해야 할 수 있지만, 전체 컨텍스트보다는 훨씬 느리게 성장해야 합니다.

ZHA와 같은 계층적 방법은 이러한 균형을 향한 경로를 제공합니다.

논문:
https://arxiv.org/abs/2610.42112
블로그:
https://zyphra.com/our-work/zyphra-hierarchical-attention
…

@ZyphraAI는 San Francisco에 본사를 둔 풀스택 슈퍼지능 기업으로, 오픈 모델과 멀티실리콘 인프라를 통해 주권적 AI(sovereign AI)를 가능하게 하는 것을 목표로 합니다.

합류하려면 지원하세요!