AI 게이트웨이에서 가상 모델(Virtual Models) 소개

요약

AI Gateway에 도입된 가상 모델(Virtual Models)은 앱과 에이전트가 사용하는 모델 문자열 및 구성을 추상화하는 기능입니다. 이를 통해 개발자는 코드 수정이나 재배포 없이 중앙에서 모델 변경, 폴백 설정, Zero Data Retention 강제 등 복잡한 설정을 관리할 수 있습니다.

핵심 포인트

• 가상 모델은 모델 선택 및 구성을 AI Gateway로 중앙 집중화합니다.
• 코드 배포 없이 모델 업데이트, 폴백, Zero Data Retention 설정이 가능해집니다.
• 에이전트 작업에 ID를 할당하면 모든 호출 지점에서 새로운 구성이 자동 적용됩니다.
• 프로덕션 전환 전에는 반드시 두 번째 가상 모델을 이용해 평가(evals)를 수행해야 합니다.