Kimi K3 및 더 빠른 서빙 경로를 제공하는 Kimi K3 Fast가 Baseten 및 Fireworks를 포함한 미국 기반 제공업체를 통해 AI Gateway에서 이제 사용 가능합니다. 두 모델 모두에 대해 Zero Data Retention (ZDR)이 지원됩니다. PDT 기준 오전 8:20 현재, Fireworks를 사용할 수 있습니다. Baseten 및 기타 제공업체는 곧 온라인 상태가 될 예정입니다. Moonshot AI의 Kimi K3Kimi K3 FastZero Data Retention (ZDR)

미국 기반 제공업체에서 Kimi K3를 실행하면 데이터 거주지(data residency) 및 컴플라이언스(compliance) 요구 사항이 있는 팀이 미국 인프라에서 모델을 사용할 수 있습니다. AI Gateway는 여러 제공업체로부터 모델을 서빙하므로, 단일 제공업체가 제공하는 것보다 더 높은 가동 시간(uptime), 더 많은 가용 처리량(throughput) 및 장애 조치(failover)를 위해 자동으로 여러 제공업체 간에 라우팅합니다. 사용자는 동일한 모델 ID를 호출하기만 하면 되며, 게이트웨이가 제공업체 선택 및 폴백(fallback)을 처리합니다. moonshotai/kimi-k3

Kimi K3 Fast는 토큰당 비용은 더 높지만 지연 시간(latency)은 더 낮습니다. 기본 모델에서 옵션을 사용하여 요청할 수 있으며, 이 옵션은 켜져 있는 상태를 유지하다가 빠른 티어(fast tier)를 사용할 수 없을 때 표준 속도로 폴백됩니다. 또는 speed를 사용하십시오. 빠른 변체(variant)는 기본 모델보다 약 50% 더 많은 비용이 듭니다. speed moonshotai/kimi-k3 moonshotai/kimi-k3-fast

Kimi K3를 사용하려면 AI SDK의 model을 다음과 같이 설정하십시오: moonshotai/kimi-k3

추론을 위해 Kimi K3 요청을 미국 데이터 센터만 사용하도록 라우팅하려면 inferenceRegion을 설정하십시오. 지역별 가격은 일반 변체보다 약 10% 더 높습니다. inferenceRegion

Kimi K3에 대한 Zero Data Retention (ZDR)도 사용할 수 있습니다. AI Gateway 대시보드 설정에서 모든 요청에 대해 Zero Data Retention을 켜거나, zeroDataRetention을 사용하여 요청당 설정할 수 있습니다: zeroDataRetention

제공업체별 가격, 지원되는 파라미터(parameters), 가동 시간(uptime), 처리량(throughput) 및 지연 시간(latency)과 함께 Kimi K3를 서빙하는 모든 제공업체를 확인하려면 모델 엔드포인트 API를 호출하십시오.

모델 가격은 제공업체 및 변체 유형에 따라 다릅니다.

Kimi K3를 실행하고 선택하십시오. 이렇게 하면 머신의 에이전트(agents)를 감지하고, AI Gateway 키를 프로비저닝(provision)하며, 해당 설정(config)을 작성합니다. Vercel CLI를 통한 설정 방법은 .vercel ai-gateway coding-agents setup을 참조하십시오.

모델 플레이그라운드 (model playground)에서 Kimi K3를 체험해 보세요.

더 읽어보기

미국 추론 (US inference)

제로 데이터 보존 (Zero Data Retention)

제공업체 및 엔드포인트 (Providers and endpoints)

코딩 에이전트 (coding agent)에서 Kimi K3 사용하기