Oracle Cloud, LiteLLM을 OCI Generative AI의 네이티브 프로바이더로 지원

Oracle Cloud는 이번 주 LiteLLM이 이제 Oracle Generative AI Infrastructure의 퍼스트 클래스(first-class) 프로바이더가 되었다고 발표했습니다. 커뮤니티 플러그인이나 제3자 래퍼(wrapper)가 아닌, 네이티브 지원(Native support)입니다.

Oracle Cloud의 LinkedIn 원문 공지

이것이 실제로 의미하는 것

이제 LiteLLM을 통해 Oracle의 Generative AI Infrastructure에서 호스팅되는 모델로 요청을 라우팅할 수 있습니다. 게이트웨이는 OCI Signature v1 요청 서명(request signing)과 예산, 속도 제한(rate limits), 캐싱(caching), 가드레일(guardrails) 등 기대할 수 있는 모든 프로덕션 제어 기능을 처리합니다.

OCI의 모델 카탈로그는 대부분의 사람들이 인식하는 것보다 더 광범위합니다:

• Meta Llama 4 (Maverick, Scout, 3.3, 3.2 vision)
• xAI Grok (Grok 4, Grok 3, Grok Code)
• Cohere Command (Command A, Command R+)
• Cohere Embed (v4, v3)
• Google Gemini (OCI를 통해)
• OpenAI models (OCI를 통해)

따라서 이미 OCI에서 운영 중이라면 별도의 모델 게이트웨이가 필요하지 않습니다. LiteLLM을 귀하의 OCI 테넌시(tenancy)로 지정하기만 하면 됩니다.

빠른 설정

model_list:
  - model_name: grok-4
    litellm_params:
...

import litellm

response = litellm.completion(
...

그게 전부입니다. LiteLLM은 OCI 인증 서명(auth signing), 재시도(retries) 및 모든 게이트웨이 기능을 자동으로 처리합니다.

이것이 중요한 이유

Oracle이 네이티브 프로바이더로 합류하면서 LiteLLM이 지원하는 프로바이더 수는 100개를 넘어섰습니다. 하지만 진정한 가치는 이미 OCI를 사용 중인 팀들에게 있습니다. Oracle이 호스팅하는 각 모델 제품군을 위해 맞춤형 통합(custom integrations)을 구축하는 대신, 전체 지출 추적 및 액세스 제어 기능이 포함된 단일 OpenAI 호환 API를 사용할 수 있습니다.

아키텍처는 깔끔합니다. 애플리케이션 코드는 LiteLLM과 통신하고, LiteLLM은 벤더 어댑터(vendor adapters)와 요청 서명을 처리하며, Oracle은 추론(inference)을 담당합니다. 미들웨어도 없고, 추가적인 홉(hops)도 없습니다.

전체 OCI 프로바이더 문서

Oracle은 LiteLLM 네이티브 통합을 구축하고 있는 클라우드 제공업체들의 행보 중 가장 최근 사례입니다. AWS는 이번 달 초 Bedrock AgentCore를 통해 동일한 작업을 수행했으며, Cisco는 가드레일(guardrail) 레이어로 AI Defense를 통합했습니다. 패턴은 명확합니다. 이 팀들은 자체적인 시스템을 구축하기보다, 엔터프라이즈 제어 기능(enterprise controls)이 이미 내장된 통합 게이트웨이(unified gateway)를 원하고 있습니다.