ZOE를 활용하여 GLM-5.3의 512K 컨텍스트 첫 토큰 생성 시간을 획기적으로 단축했습니다.

자이프라(Zyphra)는 Zyphra Optimization Engine (ZOE)을 통해 AMD Instinct MI355X GPU에 대한 두 번째 웨이브의 추론 최적화 기능을 선보입니다.

저희의 최신 엔지니어링 블로그에서는 프런티어 오픈 모델(frontier open models)을 위한 더 빠른 장문 컨텍스트 서빙(long-context serving)의 커널 작업 세부 사항을 다루고 있습니다.

코딩 및 리서치 에이전트(coding and research agents)는 코드, 문서, 도구 출력을 통해 장문 컨텍스트를 구축하고 이를 매 턴마다 모델에 다시 전송합니다.

장문 컨텍스트에서 프런티어 혼합 전문가(mixture-of-experts) 모델은 GPU의 컴퓨팅 자원을 거의 사용하지 않는 계산에 많은 시간을 할애합니다.

ZOE를 사용하면 512K 컨텍스트에서의 GLM-5.3 첫 토큰 생성 시간(time to first token)이 178.8초에서 64.6초로 감소했습니다 (2.8배). 에이전트는 대부분의 컨텍스트를 재사용하며, 90%가 캐시될 경우 42.3초에서 11.8초로 감소했습니다 (3.6배).

저희 인덱서 커널(indexer kernel)은 매트릭스 코어(matrix cores)에서 실행되며, 현재 토큰을 점수화하는 동안 다음 키를 로드합니다.

512K 컨텍스트의 GLM-5.3에서 프리필 시간(prefill time) 대부분은 희소 어텐션 인덱서(sparse attention indexer)에 사용됩니다.

희소 어텐션은 각 새로운 토큰이 이전 2,048개 토큰에만 주의를 기울일 수 있게 합니다. 이들을 선택하기 위해 인덱서는 모든 이전 토큰을 점수화하므로, 그 비용은 컨텍스트 길이와 함께 증가합니다.

DeepSeek-V4 역시 같은 종류의 선택 단계를 가집니다. 이는 각 새로운 토큰에 대해 상위 512개의 압축된 항목을 선택합니다. SGLang은 이를 GPU의 256 컴퓨팅 유닛 중 1개에서 실행하며, 저희 커널은 최대 32개로 분할하여 실행합니다.

1M 컨텍스트에서 단일 사용자 디코드(single-user decode) 속도는 43.5 토큰/초에서 61.1 토큰/초로 상승합니다.

커널의 속도는 GPU의 컴퓨팅 자원 또는 메모리 대역폭(memory bandwidth) 중 하나에 의해 제한되며, 저희는 MI355X에서 이 두 가지를 경험적으로 측정했습니다. 디코드 시 각 MoE 전문가가 몇 개의 토큰만 보기 때문에, 대역폭이 그 상한선을 설정합니다.

저희의 통합된 MoE 커널은 vLLM의 Triton 커널보다 최대 2.0배 빠릅니다.

FP4는 가중치 바이트를 절반으로 줄이므로, 저희는 AMD의 MXFP4 GLM-5.3을 테스트했습니다. 이는 FP8 대비 756 GB에서 410 GB로 감소했으며, 네 가지 추론 벤치마크(reasoning benchmarks)에서 3포인트 이내의 성능을 보였습니다.

이는 높은 동시성(high concurrency)에서만 더 빠르게 디코드됩니다. 낮은 동시성에서는 작은 가중치로 절약되는 시간보다 커널이 추가하는 시간이 더 많습니다.