Zyphra는 Zyphra Optimization Engine (ZOE)을 기반으로 @AMD Instinct MI355X GPU에 대한 두 번째 웨이브의 추론(inference) 최적화를 선보입니다.
저희의 최신 엔지니어링 블로그에서는 프런티어 오픈 모델(frontier open models)의 더 빠른 장문맥 서비스(long-context serving)를 위한 커널 작업 세부 내용을 다루었습니다. 🧵
코딩 및 리서치 에이전트들은 코드, 문서, 도구 출력으로부터 장문맥을 구축하고 이를 매 턴마다 모델에 다시 전송합니다.
장문맥에서 프런티어 Mixture-of-Experts (MoE) 모델은 GPU의 컴퓨팅 자원을 많이 사용하지 않는 계산에 많은 시간을 할애하게 됩니다.
ZOE를 사용했을 때, GLM-5.3의 512K 컨텍스트에서의 첫 토큰 생성 시간(time to first token)은 178.8초에서 64.6초로 감소했습니다 (2.8배). 에이전트들이 컨텍스트의 대부분을 재사용할 경우, 캐싱률 90% 적용 시에는 42.3초에서 11.8초로 감소했습니다 (3.6배).
저희 인덱서 커널(indexer kernel)은 매트릭스 코어(matrix cores)에서 실행되며 현재 토큰을 점수화하는 동안 다음 키들을 로드합니다.
GLM-5.3의 512K 컨텍스트에서는 프리필 시간(prefill time) 대부분이 희소 어텐션 인덱서(sparse attention indexer)에 할애됩니다.
희소 어텐션은 각 새로운 토큰이 이전 토큰 중 오직 2,048개의 토큰에만 주의를 기울이게 합니다. 이들을 선택하기 위해 인덱서는 모든 이전 토큰을 점수화하므로 그 비용이 컨텍스트 길이에 따라 증가합니다.
DeepSeek-V4 역시 유사한 종류의 선택 단계를 거칩니다. 새로운 토큰마다 상위 512개의 압축된 항목을 선택합니다. SGLang은 이를 GPU의 256 컴퓨팅 유닛 중 하나에서 실행하며, 저희 커널은 이를 최대 32개로 분할하여 처리합니다.
1M 컨텍스트에서의 단일 사용자 디코딩 속도는 43.5 토큰/초에서 61.1 토큰/초로 증가했습니다.
커널의 속도는 GPU의 컴퓨팅 자원 또는 메모리 대역폭 중 하나에 의해 제한되며, 저희는 MI355X에서 이 두 가지를 경험적으로 측정했습니다. 디코딩 과정에서는 각 MoE 전문가가 몇 개의 토큰만 보기 때문에 대역폭이 한계를 설정합니다.
저희의 결합된(fused) MoE 커널은 vLLM의 Triton 커널보다 최대 2.0배 더 빠릅니다.
FP4는 가중치 바이트를 절반으로 줄여, 저희는 AMD의 MXFP4 GLM-5.3을 테스트했습니다. 이는 FP8 대비 756 GB에서 410 GB로 감소했으며, 네 가지 추론 벤치마크(reasoning benchmarks)에서 3포인트 이내의 성능 차이를 보였습니다.
다만, 디코딩 속도가 빨라지는 것은 높은 동시성(high concurrency)일 때뿐입니다. 낮은 동시성에서는 FP4 커널이 절약되는 작은 가중치보다 더 많은 시간을 추가하게 됩니다.
추측 디코딩(speculative decoding) 속도는 프롬프트에도 따라 달라집니다. Kimi-K3 요청 하나는 어려운 추론(hard reasoning)보다 간단한 수학 문제(simple math)에서 2.7배 더 빠르게 디코드됩니다.
모든 결과는 라이브 트래픽이 없는 MI355X 단일 노드 기준이며, 명시된 vLLM 및 SGLang 버전을 기준으로 합니다.
더 많은 정보는 다음을 참고하세요:
@ZyphraAI는 산호세에 본사를 둔 풀 스택(full stack) 초지능 기업으로, 오픈 모델과 멀티실리콘 인프라를 통해 주권형 AI(sovereign AI) 구현을 목표로 합니다.
합류하려면 지원하세요!