Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ANT Group의 MoE 모델인 Ling 3.0 Tiny가 Vercel AI Gateway에 출시되었습니다. 7.9B 파라미터 규모로 함수 호출과 프롬프트 캐싱을 지원하며, 에이전트 및 다회차 대화에 최적화되어 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Vercel AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기ANT Group의 모델이 이제 AI Gateway에 출시되었으며, PT 기준 8월 14일 오전 8시까지 무료로 사용할 수 있습니다. Ling 3.0 Tiny가 Ling 3.0 Flash의 무료 슬롯을 대체합니다.
Ling 3.0 Tiny는 총 7.9B(79억) 개의 파라미터를 가진 MoE (Mixture of Experts) 모델로, 토큰당 약 1.3B(13억) 개의 활성 파라미터를 사용하며, 256K 토큰의 컨텍스트 윈도우 (context window)와 최대 32K 출력 토큰을 지원합니다. 이 모델은 네이티브 함수 호출 (function calling) 및 프롬프트 캐싱 (prompt caching) 기능을 갖추고 있어, 반응형 에이전트 (responsive agents), 지시 이행 (instruction following), 그리고 다회차 대화 (multi-turn conversation)에 최적화되어 구축되었습니다.
Ling 3.0 Tiny를 사용하려면 model을 inclusionai/ling-3.0-tiny-free로 설정하세요. 8월 14일 이후에는 새로운 모델 이름이 inclusionai/ling-3.0-tiny로 변경됩니다. AI SDK
model playground에서 Ling 3.0 Tiny를 체험해 보세요.
coding agent에서 사용하려면 vercel ai-gateway coding-agents setup을 실행하고 에이전트 내에서 inclusionai/ling-3.0-tiny-free를 선택하세요.
AI Gateway는 모델 호출을 위한 통합 API를 제공하며, 사용량 및 비용 추적, 재시도 (retries), 장애 조치 (failover), 그리고 제공업체보다 높은 가동 시간을 위한 성능 최적화 설정을 지원합니다. 여기에는 커스텀 리포팅 (custom reporting), 데이터 제로 보존 (Zero Data Retention) 지원, API 키 예산 설정 (budgets for API keys), 라우팅 규칙 (routing rules) 등이 포함되어 있습니다.
AI Gateway는 추가 마진 없이 제공업체의 가격을 반영하며, Bring Your Own Key (BYOK) 요청을 포함한 추론에 대해 플랫폼 수수료를 부과하지 않습니다.