Vercel AI Gateway가 개별 추론(inference)에 대한 커스텀 타임아웃 기능을 도입하여, 시스템의 장애 복구(failover) 속도를 획기적으로 개선했습니다. 기존에는 공급자(provider)의 기본 설정된 타임아웃에 의존해야 했으나, 이제 개발자가 원하는 정확한 시간 단위로 각 공급자의 응답 대기 시간을 지정할 수 있게 되었습니다.

주요 기능 및 기술적 이점

1. 빠른 장애 복구 (Faster Failover):
가장 큰 변화는 타임아웃 발생 시의 대응 속도입니다. 개발자가 설정한 시간 내에 특정 공급자로부터 응답이 시작되지 않으면, AI Gateway는 즉시 요청을 중단(abort)하고 다음 사용 가능한 공급자로 전환합니다. 이는 사용자 경험 측면에서 지연 시간을 최소화하고 서비스 가용성(availability)을 극대화하는 핵심 요소입니다.

2. 설정 방법 (Configuration):
이 기능은 providerTimeouts 옵션을 통해 구현됩니다. 개발자는 이 옵션 내에 각 공급자별 타임아웃 시간을 밀리초(milliseconds) 단위로 명시할 수 있습니다. 이는 매우 세밀한 제어를 가능하게 합니다.

3. 사용 범위 및 제한 사항:

• 베타 기능: 현재 이 커스텀 타임아웃 설정은 BYOK (Bring Your Own Key) 자격 증명 환경에서만 베타로 제공됩니다. 시스템 공급자(system provider)에 대한 타임아웃 지원은 추후 추가될 예정입니다.
• 비용 문제 유의: 일부 공급자는 스트림 취소(stream cancellation)를 지원하지 않을 수 있습니다. 따라서, 설정된 시간 내에 응답이 중단되더라도 해당 공급자에 따라 요청 전체에 대해 비용이 청구될 수 있으므로 이 점을 반드시 고려해야 합니다.

고급 사용 시나리오 (Advanced Usage)

AI Gateway는 여러 공급자를 순차적으로 사용하여 장애 복구를 수행할 수 있습니다. 개발자는 단순히 타임아웃만 설정하는 것을 넘어, order 옵션을 활용하여 공급자 간의 호출 순서(sequence)와 전체적인 장애 복구 속도까지 정밀하게 제어할 수 있습니다.

이러한 커스텀 타임아웃 기능은 AI 기반 애플리케이션을 구축하는 엔지니어들에게 매우 중요한 도구입니다. 여러 외부 API에 의존하는 시스템에서, 단일 공급자의 성능 저하가 전체 서비스 중단으로 이어지는 위험을 최소화하고, 최적의 응답 시간을 보장할 수 있게 합니다.