AI Gateway에서 라우팅 규칙(Routing rules) 사용 가능
요약
Vercel AI Gateway에서 모델 사용을 제어할 수 있는 라우팅 규칙(Routing rules) 기능이 추가되었습니다. 애플리케이션 코드 수정 없이 게이트웨이 레벨에서 모델을 재라우팅하거나 차단할 수 있습니다.
핵심 포인트
- 리라이트(Rewrite) 규칙으로 모델 장애 시 즉시 대체 모델로 트래픽 전환 가능
- 거부(Deny) 규칙을 통해 승인되지 않은 모델 사용을 팀 레벨에서 차단
- Vercel CLI를 통해 라우팅 규칙을 효율적으로 관리 가능
- 코드 변경 없이 게이트웨이 설정만으로 모델 마이그레이션 및 비용 최적화 지원
이제 Vercel AI Gateway라우팅 규칙 (routing rules)을 지원합니다.
라우팅 규칙 (Routing rules)은 팀이 사용할 수 있는 모델을 제어하는 방화벽 스타일의 규칙으로, 애플리케이션 코드 대신 게이트웨이 레벨에서 적용됩니다.
모델이 다운되거나 서비스가 종료(retired)되면, 보통 이를 대체하기 위해 코드 변경 사항을 배포해야 합니다. 라우팅 규칙 (Routing rules)을 사용하면 규칙 하나만 푸시하면 모든 요청이 즉시 재라우팅됩니다. 두 가지 유형이 있습니다:
규칙은 팀의 AI Gateway 자격 증명으로 이루어지는 모든 요청에 적용됩니다. Vercel CLI를 통해 관리할 수 있습니다.
소스 모델과 대상 모델을 사용하여 리라이트 (rewrite)를 생성합니다. 게이트웨이가 대상 모델로 투명하게 교체하므로, 애플리케이션은 계속해서 소스 모델을 요청하게 됩니다:
모델을 차단하기 위한 거부 (deny) 규칙을 생성합니다. 해당 모델에 대한 요청은 :403을 반환합니다.
규칙은 요청을 처리하는 모델만 변경합니다. 그 외에 구성한 모든 사항은 다음을 포함하여 대상 모델에도 여전히 적용됩니다:
라우팅 규칙 (Routing rules)은 베타 버전입니다. 자세한 내용은 라우팅 규칙 (routing rules) 문서를 읽어보세요.
<table><tbody><tr><td><p>유형 (Type)</p></td><td><p>기능</p></td><td><p>용도</p></td></tr><tr><td><p><b>리라이트 (Rewrite)</b></p></td><td><p>하나의 모델에 대한 요청을 다른 모델로 처리</p></td><td><p>모델을 사용할 수 없을 때 트래픽을 유지하거나, 서비스가 종료된 모델에서 마이그레이션하거나, 하나의 모델로 표준화하거나, 비용이 많이 드는 모델을 더 저렴한 모델로 라우팅할 때 사용</p></td></tr><tr><td><p><b>거부 (Deny)</b></p></td><td><p>모델에 대한 요청을 차단</p></td><td><p>승인되지 않은 모델을 팀이 사용하지 못하도록 제한</p></td></tr></tbody></table>리라이트 (Rewrite)
거부 (Deny)
리라이트 (Rewrite)
거부 (Deny)
-
**: , , , the , and .요청 레벨(Request-level)BYOK모델 폴백(model fallbacks)정렬(sorting)필터(filter)[프로바이더 옵션(provider options)
only -
: 그리고 팀 레벨(Team-level)Zero Data Retention[프로바이더 허용 목록(provider allowlist)
AI 자동 생성 콘텐츠
본 콘텐츠는 Vercel AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기