Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI Gateway에 통합 fast mode 추상화 계층이 베타 버전으로 추가되었습니다. 사용자는 speed 설정을 통해 지연 시간이 낮은 fast tier를 요청할 수 있으며, 지원되지 않는 경우 자동으로 standard speed로 폴백됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Vercel AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI Gateway에 통합된 fast mode 추상화 계층이 현재 베타 버전으로 제공됩니다.
이제 AI Gateway의 모든 모델에 대해 동일한 방식으로 요청할 수 있습니다. speed를 fast로 설정하면, 게이트웨이는 해당 기능이 사용 가능할 때는 fast tier를 제공하고, 그렇지 않을 때는 standard speed로 폴백(fallback)합니다. fast modefast
Fast mode는 토큰당 비용은 더 높지만, 더 낮은 지연 시간(latency) 또는 더 높은 처리량(throughput)을 제공합니다. 특정 제공자(provider)를 고정하거나 직접 연결 설정을 할 필요 없이, 기능이 사용 가능한 곳이라면 어디서든 이용할 수 있습니다.
라우팅 가능한 fast serving 경로가 있을 때 모델을 업그레이드하려면 providerOptions.gateway.speed를 fast로 설정하세요.
또한, anthropic/claude-opus-5-fast와 같이 fast slug를 사용하여 fast 변형 모델을 직접 지정할 수도 있으며, 이는 기본 모델에 speed: 'fast'를 설정하는 것과 동일합니다.
기본 모델 ID를 유지하면서 표준 속도로 폴백(fallback)하고 싶을 때는 해당 옵션을 사용하세요. 폴백 리스트(fallback list) 등에서 fast 변형 모델을 직접 지정하고 싶을 때는 fast slug를 사용하세요. 이 옵션은 모든 AI Gateway API 형식에서 작동합니다. gateway.models.speed
Fast mode는 점점 더 많은 모델에서 사용할 수 있게 됩니다. models list에서 slug 옆에 번개 모양 아이콘이 있는 모델을 확인하세요. fast tier가 없는 모델에 대해 fast mode를 요청하면 아무런 영향이 없으며, 요청은 standard speed로 실행됩니다. 모델의 fast 변형은 일반적으로 기본 모델보다 비용이 더 많이 발생하므로 pricing에서 자세한 내용을 확인하세요.
Claude Code에서는 /fast 입력 후 Anthropic Opus 모델에 대해 fast mode를 토글할 수 있습니다. 다른 에이전트의 경우, 모델 설정에서 anthropic/claude-opus-5-fast와 같은 fast slug를 선택하세요. setup
fast mode에 대한 자세한 정보는 documentation을 읽어보세요.