Thinking Machines의 Inkling Small이 이제 AI Gateway에서 사용 가능합니다.

Inkling Small은 작업당 훨씬 적은 컴퓨팅 자원을 사용하면서, 크기는 약 4분의 1 수준임에도 더 큰 Inkling 모델에 필적하는 성능을 보여줍니다. 이는 오디오와 이미지에 대한 네이티브 추론 (native reasoning) 능력을 갖춘 광범위한 범용 모델 (broad generalist)이며, 추론 (reasoning), 에이전트 기반 코딩 (agentic coding), 그리고 도구 사용 (tool use)에서 뛰어난 성능을 유지합니다. 제어 가능한 사고 노력 (Controllable thinking effort)을 통해 최소한의 추론부터 최대한의 추론까지 품질과 비용 및 지연 시간 (latency) 사이의 균형을 맞출 수 있습니다.

시각적 작업의 경우, 프로그래밍 방식으로 이미지를 자르고(crop), 확대(zoom)하고, 검사(inspect)할 수 있어 관련 세부 정보가 작은 문서나 차트 작업에 도움이 됩니다.

Inkling을 사용하려면 AI SDK의 :model을 thinkingmachines/inkling-small로 설정하세요.

Inkling-Small은 Zero Data Retention (ZDR)과 호환됩니다. 대시보드에서 팀 전체에 적용하거나, 요청 시 zeroDataRetention: true를 사용하여 활성화할 수 있으며, AI Gateway는 각 요청 후 프롬프트와 응답을 삭제하는 제공업체로만 라우팅합니다.

Inkling-Small은 코딩 및 도구 사용 워크플로우를 위한 비용 효율적인 선택이기도 합니다. vercel ai-gateway coding-agents setup을 실행하여 코딩 에이전트를 AI Gateway에 연결한 다음, 에이전트의 모델 구성에서 thinkingmachines/inkling-small을 선택하세요. 자세한 내용은 coding agents guide를 참조하세요.

AI Gateway는 제공업체의 가격을 마진 없이 반영하며, Bring Your Own Key (BYOK) 요청을 포함한 추론에 대해 플랫폼 수수료를 부과하지 않습니다. model playground에서 Inkling Small을 사용해 보세요.

더 읽어보기