이제 Vercel AI Gateway라우팅 규칙 (routing rules)을 지원합니다.

라우팅 규칙 (Routing rules)은 팀이 사용할 수 있는 모델을 제어하는 방화벽 스타일의 규칙으로, 애플리케이션 코드 대신 게이트웨이 레벨에서 적용됩니다.

모델이 다운되거나 서비스가 종료(retired)되면, 보통 이를 대체하기 위해 코드 변경 사항을 배포해야 합니다. 라우팅 규칙 (Routing rules)을 사용하면 규칙 하나만 푸시하면 모든 요청이 즉시 재라우팅됩니다. 두 가지 유형이 있습니다:

규칙은 팀의 AI Gateway 자격 증명으로 이루어지는 모든 요청에 적용됩니다. Vercel CLI를 통해 관리할 수 있습니다.

소스 모델과 대상 모델을 사용하여 리라이트 (rewrite)를 생성합니다. 게이트웨이가 대상 모델로 투명하게 교체하므로, 애플리케이션은 계속해서 소스 모델을 요청하게 됩니다:

모델을 차단하기 위한 거부 (deny) 규칙을 생성합니다. 해당 모델에 대한 요청은 :403을 반환합니다.

규칙은 요청을 처리하는 모델만 변경합니다. 그 외에 구성한 모든 사항은 다음을 포함하여 대상 모델에도 여전히 적용됩니다:

라우팅 규칙 (Routing rules)은 베타 버전입니다. 자세한 내용은 라우팅 규칙 (routing rules) 문서를 읽어보세요.

더 읽어보기

<table><tbody><tr><td><p>유형 (Type)</p></td><td><p>기능</p></td><td><p>용도</p></td></tr><tr><td><p><b>리라이트 (Rewrite)</b></p></td><td><p>하나의 모델에 대한 요청을 다른 모델로 처리</p></td><td><p>모델을 사용할 수 없을 때 트래픽을 유지하거나, 서비스가 종료된 모델에서 마이그레이션하거나, 하나의 모델로 표준화하거나, 비용이 많이 드는 모델을 더 저렴한 모델로 라우팅할 때 사용</p></td></tr><tr><td><p><b>거부 (Deny)</b></p></td><td><p>모델에 대한 요청을 차단</p></td><td><p>승인되지 않은 모델을 팀이 사용하지 못하도록 제한</p></td></tr></tbody></table>

리라이트 (Rewrite)

거부 (Deny)

리라이트 (Rewrite)

거부 (Deny)

• **: , , , the , and .요청 레벨(Request-level)BYOK모델 폴백(model fallbacks)정렬(sorting)필터(filter)[프로바이더 옵션(provider options)only

• : 그리고 팀 레벨(Team-level)Zero Data Retention[프로바이더 허용 목록(provider allowlist)