ZOE와 Stock SGLang의 성능 및 수익성 비교 분석

요약

ZOE는 Stock SGLang 대비 p90 TTFT가 현저히 낮은 성능 우위를 보입니다. MI300X 기반으로 운영 시, ZOE는 시간당 $5.00의 높은 수익을 창출하는 반면, 경쟁 모델은 상대적으로 낮은 수익에 그칩니다. 이는 캐시된 입력 토큰(prefix cache) 활용이 주요 수익원임을 보여줍니다.

핵심 포인트

• ZOE는 Stock SGLang 대비 p90 TTFT가 48배 낮아 성능 우위를 입증했습니다.
• MI300X당 시간당 예상 수익은 ZOE가 $5.00로, 높은 수익성을 확보합니다.
• 수익의 대부분은 입력 토큰 중 캐시된 프리픽스(prefix cache)에서 발생합니다.
• 양쪽 엔드포인트 모두 약 60% 수준의 마진을 유지할 수 있습니다.