Zo Computer, Vercel 도입으로 AI 신뢰성 20배 개선 사례
요약
개인용 AI 클라우드 플랫폼을 개발하는 Zo Computer는 기존에 모델 공급자별로 커스텀 어댑터 코드를 관리하고, 재시도(retry) 및 폴백 로직을 자체적으로 처리해야 하는 복잡성을 겪었습니다. 이 과정에서 신규 모델 추가 시마다 상당한 엔지니어링 리소스가 소모되었습니다. Zo는 Vercel의 AI SDK와 AI Gateway를 도입하여 이러한 문제를 해결했습니다. AI SDK는 모든 모델에 대한 통일된 인터페이스를 제공했고, AI Gateway는 인프라 수준의 복잡성(재시도, 라우팅 등)을 처리했습니다. 그 결과, 재시도율은
핵심 포인트
- Vercel의 AI SDK와 AI Gateway 도입으로 Zo Computer는 AI 시스템의 신뢰성을 20배 향상시켰습니다.
- 이전에는 모델 공급자별로 커스텀 코드가 필요했지만, 이제 통일된 인터페이스를 통해 신규 모델을 즉시 지원할 수 있게 되었습니다.
- 재시도율(retry rate)이 7.5%에서 0.34%로 대폭 감소하여 사용자 경험의 안정성을 높였습니다.
- P99 지연 시간(latency)이 131초에서 81초로 크게 개선되어 사용자가 체감하는 응답 속도가 빨라졌습니다.
Zo Computer는 개인용 AI 클라우드 플랫폼을 제공하며, 사용자에게 자체 서버와 데이터를 기반으로 하는 '항상 켜져 있는(always-on)' 에이전트를 구현합니다. 이들은 소규모 비즈니스 관리부터 건강 데이터 추적까지 광범위하게 활용되는 환경을 구축하는 것을 목표로 합니다.
하지만 여러 주요 AI 모델 공급자(OpenAI, Anthropic 등)와 연동해야 하는 과정에서 기술적인 복잡성에 직면했습니다. 기존 방식은 각 모델마다 개별 어댑터 코드를 작성하고, 재시도 로직이나 폴백 처리를 자체적으로 관리해야 했기 때문에 개발팀의 부담이 컸습니다.
Zo는 Vercel의 AI SDK와 AI Gateway를 도입하며 이 문제를 해결했습니다. AI SDK가 모든 모델에 통일된 인터페이스를 제공하여 개별 코드를 대체했고, AI Gateway는 재시도 및 공급자 상태 모니터링 같은 인프라 레벨의 복잡성을 전담 처리했습니다.
이러한 통합 덕분에 신규 모델 추가 시간이 몇 시간에서 30초 이내로 단축되었습니다. 더 중요한 것은 성능 지표의 극적인 개선입니다. 재시도율은 기존 대비 약 20배 감소했으며, P99 지연 시간(latency) 역시 크게 줄어들어 사용자 경험이 안정화되었습니다.
결론적으로 Zo는 Vercel을 통해 AI 인프라 관리 부담을 개발팀에서 분리하고, 핵심 제품 기능에 집중할 수 있게 되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Vercel AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기