GLM-5.3의 512K 컨텍스트에서 프리필 시간은 희소 어텐션 인덱서에 집중된다

코딩 및 리서치 에이전트는 코드, 문서, 도구 출력으로부터 긴 컨텍스트를 구축하고 매 턴마다 이를 모델에 다시 전송합니다.

긴 컨텍스트에서는 최첨단 Mixture-of-Experts (MoE) 모델들이 GPU의 컴퓨팅 자원을 거의 사용하지 않는 계산에 많은 시간을 할애합니다.

ZOE를 사용했을 때, GLM-5.3의 512K 컨텍스트에서의 첫 토큰 생성 시간은 178.8초에서 64.6초로 감소했습니다 (2.8배). 에이전트가 대부분의 컨텍스트를 재사용하고 90%가 캐시되었을 경우, 이 시간은 42.3초에서 11.8초로 떨어졌습니다 (3.6배).

저희의 인덱서 커널(indexer kernel)은 매트릭스 코어(matrix cores)에서 실행되며, 현재 키를 점수화하는 동시에 다음 키들을 로드합니다.

GLM-5.3의 512K 컨텍스트에서, 대부분의 프리필(prefill) 시간은 희소 어텐션 인덱서에 사용됩니다.

희소 어텐션(Sparse attention)은 각 새로운 토큰이 이전의 단 2,048개 토큰에만 주의를 기울일 수 있게 합니다. 이들을 선택하기 위해 인덱서는 모든 이전 토큰을 점수화하므로, 그 비용은 컨텍스트 길이에 따라 증가합니다.

DeepSeek-V4도 유사한 선택 단계를 가지고 있습니다. 이는 각 새로운 토큰에 대해 상위 512개의 압축된 엔트리를 선택합니다. SGLang은 이를 GPU의 256개 컴퓨팅 유닛 중 1개에서 실행하지만, 저희 커널은 최대 32개로 분할하여 처리합니다.

1M 컨텍스트에서 단일 사용자 디코드(decode) 속도는 43.5 토큰/초에서 61.1 토큰/초로 상승합니다.

커널의 속도는 GPU의 컴퓨팅 능력 또는 메모리 대역폭 중 하나에 의해 제한되며, 저희는 MI355X에서 이 두 가지를 경험적으로 측정했습니다. 디코드 과정에서는 각 MoE 전문가가 몇 개의 토큰만 보기 때문에, 대역폭이 그 한계를 설정합니다.

저희의 통합된 (fused) MoE 커널은 vLLM의 Triton 커널보다 최대 2.0배 빠릅니다.

FP4는 가중치 바이트를 절반으로 줄이므로, 저희는 AMD의 MXFP4 GLM-5.3을 테스트했습니다. 이는 FP8일 때의 756GB에서 감소한 410GB이며, 네 가지 추론 벤치마크에서 3점 이내의 성능을 보였습니다.

이는 높은 동시성(high concurrency)일 때만 더 빠르게 디코드됩니다. 낮은 동시성에서는 그 크기가 작은 가중치들이 절약해 주는 시간보다 FP4 커널이 더 많은 시간을 추가합니다.