ANT Group의 모델이 이제 AI Gateway에 출시되었으며, PT 기준 8월 14일 오전 8시까지 무료로 사용할 수 있습니다. Ling 3.0 Tiny가 Ling 3.0 Flash의 무료 슬롯을 대체합니다.

Ling 3.0 Tiny는 총 7.9B(79억) 개의 파라미터를 가진 MoE (Mixture of Experts) 모델로, 토큰당 약 1.3B(13억) 개의 활성 파라미터를 사용하며, 256K 토큰의 컨텍스트 윈도우 (context window)와 최대 32K 출력 토큰을 지원합니다. 이 모델은 네이티브 함수 호출 (function calling) 및 프롬프트 캐싱 (prompt caching) 기능을 갖추고 있어, 반응형 에이전트 (responsive agents), 지시 이행 (instruction following), 그리고 다회차 대화 (multi-turn conversation)에 최적화되어 구축되었습니다.

Ling 3.0 Tiny를 사용하려면 model을 inclusionai/ling-3.0-tiny-free로 설정하세요. 8월 14일 이후에는 새로운 모델 이름이 inclusionai/ling-3.0-tiny로 변경됩니다. AI SDK

model playground에서 Ling 3.0 Tiny를 체험해 보세요.

coding agent에서 사용하려면 vercel ai-gateway coding-agents setup을 실행하고 에이전트 내에서 inclusionai/ling-3.0-tiny-free를 선택하세요.

AI Gateway는 모델 호출을 위한 통합 API를 제공하며, 사용량 및 비용 추적, 재시도 (retries), 장애 조치 (failover), 그리고 제공업체보다 높은 가동 시간을 위한 성능 최적화 설정을 지원합니다. 여기에는 커스텀 리포팅 (custom reporting), 데이터 제로 보존 (Zero Data Retention) 지원, API 키 예산 설정 (budgets for API keys), 라우팅 규칙 (routing rules) 등이 포함되어 있습니다.

AI Gateway는 추가 마진 없이 제공업체의 가격을 반영하며, Bring Your Own Key (BYOK) 요청을 포함한 추론에 대해 플랫폼 수수료를 부과하지 않습니다.

더 읽어보기