코딩 및 리서치 에이전트는 코드, 문서, 도구 출력을 통해 긴 컨텍스트를 구축하고 매 턴마다 모델에 다시 전송합니다.
컨텍스트가 길어지면, 최첨단 Mixture-of-Experts (MoE) 모델들은 GPU의 컴퓨팅 자원을 거의 사용하지 않는 계산에 많은 시간을 소비합니다.
ZOE를 사용했을 때, 512K 컨텍스트에서의 GLM-5.3 첫 토큰 생성 시간은 178.8초에서 64.6초로 감소했습니다 (2.8배). 에이전트들은 컨텍스트의 대부분을 재사용하며, 캐싱률이 90%일 경우 42.3초에서 11.8초로 감소했습니다 (3.6배).
저희 인덱서 커널은 매트릭스 코어(matrix cores)에서 실행되며, 현재 토큰을 점수화하는 동안 다음 키를 로드합니다.
512K 컨텍스트의 GLM-5.3에서는 프리필(prefill) 시간 대부분이 희소 어텐션 인덱서(sparse attention indexer)에 사용됩니다.
희소 어텐션은 각 새로운 토큰이 이전 토큰 중 오직 2,048개만 참조하도록 허용합니다. 이들을 선택하기 위해 인덱서는 모든 이전 토큰을 점수화하므로, 그 비용은 컨텍스트 길이에 따라 증가합니다.
DeepSeek-V4 역시 유사한 선택 단계를 가집니다. 새로운 토큰마다 상위 512개의 압축된 엔트리를 선택합니다. SGLang은 이를 GPU의 256 컴퓨팅 유닛 중 1개에서 실행하며, 저희 커널은 최대 32개로 분할하여 실행합니다.
1M 컨텍스트의 단일 사용자 디코드(decode) 속도는 43.5 토큰/초에서 61.1 토큰/초로 상승합니다.
커널의 속도는 GPU의 컴퓨팅 능력 또는 메모리 대역폭 중 하나에 의해 제한되며, 저희는 MI355X에서 이 두 가지를 경험적으로 측정했습니다. 디코드 시 각 MoE 전문가(expert)는 몇 개의 토큰만 보기 때문에, 대역폭이 한계를 설정합니다.
저희의 통합된 MoE 커널은 vLLM의 Triton 커널보다 최대 2.0배 빠릅니다.
FP4는 가중치 바이트를 절반으로 줄이므로, 저희는 AMD의 MXFP4 GLM-5.3을 테스트했습니다. 이는 FP8 대비 756 GB에서 410 GB로 감소했으며, 네 가지 추론 벤치마크(reasoning benchmarks)에서 3점 이내의 성능 차이를 보였습니다.
이는 높은 동시성(high concurrency)에서만 더 빠르게 디코드됩니다. 낮은 동시성에서는 가중치가 절약하는 시간보다 FP4 커널이 추가하는 시간이 더 많습니다.
추측 디코딩(Speculative decoding) 속도 역시 프롬프트에 따라 달라집니다. 한 Kimi-K3 요청은 간단한 수학 문제에서보다 어려운 추론 문제에서 2.7배 느리게 디코드됩니다.
모든 결과는 라이브 트래픽이 없는 MI355X 단일 노드 기준이며, 비교 대상은 명시된 vLLM 및 SGLang 버전입니다.
더 자세한 내용은 다음을 참조하십시오:
@ZyphraAI는 샌프란시스코에 기반을 둔 풀 스택 슈퍼지능(superintelligence) 기업으로, 오픈 모델과 멀티실리콘 인프라를 통해 주권형 AI(sovereign AI) 구현을 목표로 합니다.
저희와 함께할 기회를 잡으세요!
