Nemotron 3 Ultra, 이제 AI Gateway에서 사용 가능

Nvidia의 Nemotron 3 Ultra를 이제 Vercel AI Gateway에서 사용할 수 있습니다.

Nemotron 3 Ultra는 1M 토큰 컨텍스트 윈도우 (context window)를 갖추고, 장기 실행 에이전트 워크플로 (agent workflows)를 오케스트레이션하기 위해 구축된 오픈 MoE (Mixture-of-Experts) 추론 모델입니다. 이 모델은 계획 (planning), 도구 사용 (tool use), 서브 에이전트 위임 (sub-agent delegation), 오류 복구 (error recovery)와 같은 멀티턴 에이전트 워크플로 (multi-turn agent workflows)를 목표로 합니다. 처리량 (Throughput)은 초당 최대 350 토큰에 달하며, 에이전트 작업 (agentic tasks) 시 비용을 최대 30%까지 절감할 수 있습니다.

Nemotron 3 Ultra를 사용하려면 AI SDK에서 모델을 nvidia/nemotron-3-ultra-550b-a55b로 설정하세요.

AI Gateway는 모델 호출, 사용량 및 비용 추적, 그리고 제공업체(provider)보다 높은 가동 시간을 위한 재시도 (retries), 장애 조치 (failover), 성능 최적화 구성을 위한 통합 API를 제공합니다. 여기에는 내장된 기능들이 포함되어 있습니다. AI Gateway는 추가 마진 없이 제공업체의 가격을 반영하며, BYOK (Bring Your Own Key) 요청을 포함한 추론 (inference)에 대해 플랫폼 수수료를 부과하지 않습니다. 맞춤형 보고 (custom reporting) 데이터 제로 보존 (Zero Data Retention) 지원 지연 시간 및 비용에 따른 동적 제공업체 정렬 (dynamic provider sorting by latency and cost) Bring Your Own Key

AI Gateway에 대해 더 자세히 알아보고, AI Gateway 모델 리더보드 (AI Gateway model leaderboard)를 확인하거나 모델 플레이그라운드 (model playground)에서 직접 시도해 보세요.

더 읽어보기