AI Gateway가 이제 지역별 추론 (Regional inference)을 지원합니다. 요청 시 특정 지역을 미국(US) 또는 유럽(EU)으로 고정할 수 있습니다. 선택한 지역을 지원하는 모든 모델 제공업체는 동일한 방식으로 이를 처리합니다. 추론은 해당 지역에서 실행되며, 제공업체가 보유하는 모든 데이터는 해당 지역에 저장됩니다. inferenceRegion

AI Gateway는 글로벌 라우팅(global routing) 외에 두 개의 고정된 지역을 지원합니다:

만약 어떤 모델 제공업체도 해당 지역에서 서비스를 제공할 수 없는 경우, 요청은 다른 곳에서 실행되는 대신 실패합니다. 모든 응답에는 서비스를 제공한 지역이 보고되므로, 각 요청이 어디에서 실행되었는지 확인할 수 있습니다.

다음은 AI SDK를 사용하여 미국(US)으로 고정된 요청 예시입니다:

[IMG:1]

지금까지 데이터 거주성(data residency) 또는 컴플라이언스(compliance) 요구 사항이 있는 팀은 모든 제공업체에 대해 지역 라우팅을 별도로 구성해야 했으며, 요청이 실제로 어디에서 실행되었는지 확인할 수 있는 신뢰할 수 있는 방법이 없었습니다. 지역별 추론 (Regional inference)은 어디에서나 동일하게 작동하는 단일 필드와 각 요청이 어디에서 서비스되었는지 알려주는 응답을 통해 이를 대체합니다.

미국(US) 또는 유럽(EU)에서 사용 가능한 모델을 필터링하거나, /v1/models에서 regions 배열을 읽으세요. inferenceRegion이 없으면 요청은 거주성 보장 없이 글로벌하게 라우팅되므로, 거주성은 선택 사항(opt-in)입니다. model list

지역을 고정하면 비용이 더 많이 들 수 있습니다. 제공업체는 지역별 요율을 설정하며, 종종 표준보다 약 10% 높게 책정되지만, AI Gateway는 마진(markup) 없이 이를 그대로 전달합니다. 제공업체별 재정의(overrides), 응답 검증, 가격 책정 및 BYOK 동작에 대해서는 regional inference documentation을 읽어보세요.

Read more