캐시된 입력에서 발생하는 수익 구조 분석 및 ZOE 성능 비교 (Zyphra GLM-5.3-Flash)

요약

ZOE는 AgentX를 활용하여 단일 MI300X 노드에서 기존 SGLang 대비 월등한 생성 속도와 낮은 TTFT 성능을 입증했습니다. 특히, 수익의 대부분이 캐시된 입력(prefix cache) 사용에 기인하며, 이를 통해 각 MI300X당 시간당 높은 이익 창출이 가능함을 분석했습니다.

핵심 포인트

• ZOE는 SGLang 대비 p90 생성 속도와 TTFT에서 압도적인 성능 우위를 보임.
• 수익의 핵심 동력은 캐시된 입력(prefix cache)이며, 전체 입력 토큰의 약 95%가 이를 활용함.
• MI300X 기반 서비스 시 ZOE는 시간당 $2.95의 이익을 창출하여 높은 수익성을 가짐.
• 최적 운영 세션 수는 성능과 수익성 고려 시 64개로 결정됨.