Zyphra Optimization Engine(ZOE)을 활용한 GLM-5.3-Flash의 AMD Instinct MI300X 성능 분석

요약

Zyphra Inference에서 GLM-5.3-Flash를 AMD Instinct MI300X와 ZOE 엔진으로 서비스하는 성능 분석입니다. ZOE 사용 시 p90 생성 속도가 기본 SGLang 대비 3.1배 빠르며, 첫 토큰 시간(TTFT)은 10.7배 낮은 것으로 나타났습니다. 이러한 최적화는 MI300X 기반 AI 서비스의 수익성을 크게 향상시킵니다.

핵심 포인트

• ZOE를 사용하면 p90 생성 속도가 사용자당 3.1배 빨라집니다.
• TTFT가 기본 SGLang 대비 10.7배 낮은 성능을 입증했습니다.
• 동시 세션 64개 기준, ZOE는 52.8 tokens/s를 달성합니다.
• 최적화된 환경은 MI300X 기반 서비스의 수익성을 높입니다.