Zo Computer, Vercel 도입으로 AI 신뢰성 20배 개선 사례

요약

개인용 AI 클라우드 플랫폼을 개발하는 Zo Computer는 기존에 모델 공급자별로 커스텀 어댑터 코드를 관리하고, 재시도(retry) 및 폴백 로직을 자체적으로 처리해야 하는 복잡성을 겪었습니다. 이 과정에서 신규 모델 추가 시마다 상당한 엔지니어링 리소스가 소모되었습니다. Zo는 Vercel의 AI SDK와 AI Gateway를 도입하여 이러한 문제를 해결했습니다. AI SDK는 모든 모델에 대한 통일된 인터페이스를 제공했고, AI Gateway는 인프라 수준의 복잡성(재시도, 라우팅 등)을 처리했습니다. 그 결과, 재시도율은

핵심 포인트

• Vercel의 AI SDK와 AI Gateway 도입으로 Zo Computer는 AI 시스템의 신뢰성을 20배 향상시켰습니다.
• 이전에는 모델 공급자별로 커스텀 코드가 필요했지만, 이제 통일된 인터페이스를 통해 신규 모델을 즉시 지원할 수 있게 되었습니다.
• 재시도율(retry rate)이 7.5%에서 0.34%로 대폭 감소하여 사용자 경험의 안정성을 높였습니다.
• P99 지연 시간(latency)이 131초에서 81초로 크게 개선되어 사용자가 체감하는 응답 속도가 빨라졌습니다.