Moonshot AI의 Kimi K3 모델이 Telnyx Inference API를 통해 제공됩니다

Moonshot AI의 2조 8천억 개 매개변수 플래그십 모델인 Kimi K3가 이제 Telnyx Inference API에서 이용 가능합니다. 이 모델은 Kimi Delta Attention 및 Attention Residuals를 기반으로 하며, 1M 토큰 컨텍스트 창과 네이티브 비전 기능을 갖춘 3조 개 매개변수급 최초의 오픈 소스 모델입니다.

새로운 기능

• 신규 모델 제공: Kimi K3 (모델 ID: moonshotai/Kimi-K3)가 기존 모델인 Kimi K2.6, GLM-5.2-FP8, MiniMax M3 등과 함께 Telnyx Inference API에서 선택 가능해졌습니다.
• 2.8T 매개변수: Telnyx Inference에서 이용 가능한 최대 규모의 오픈 가중치(open-weight) 모델입니다. 3조 개 매개변수급에 도달한 최초의 오픈 소스 모델입니다.
• 1M 토큰 컨텍스트 창: 안정적인 장문 컨텍스트 성능을 바탕으로 코드베이스 분석, 장문서 처리, 다중 턴 에이전트 세션 등을 지원합니다.
• 네이티브 비전 (Native vision): 동일한 모델 내에서 텍스트, 이미지, 비디오 입력을 모두 수용합니다. 별도의 비전 어댑터 없이 멀티모달 추론(Multimodal reasoning)이 가능합니다.
• 설정 가능한 추론 노력 (Configurable reasoning effort): 요청당 컴퓨팅 자원과 추론 깊이를 조절할 수 있도록 세 가지 레벨(low, high, max)을 제공합니다.
• 도구 호출 및 구조화된 출력 (Tool calling and structured output): 에이전트 워크플로우를 위해 함수 호출(function calling), 동적 도구 로딩(dynamic tool loading), JSON 스키마 제약 출력을 지원합니다.
• 기본 프롬프트 캐싱 (Prompt caching by default): 요청 간 반복되는 프롬프트 접두사(prefix)에 대한 자동 전처리 캐싱을 제공합니다.

이것이 중요한 이유

AI 분야의 경쟁 우위는 가장 똑똑한 모델을 만드는 것에서, 모든 요청이 어디서 실행될지 결정하는 인프라를 구축하는 것으로 이동하고 있습니다. K3는 이 방정식에서 모델 측면이 스스로 해결되고 있음을 보여주는 증거입니다. Kimi K3는 2조 8천억 개 매개변수에 도달한 최초의 오픈 소스 모델이며, 코딩, 추론, 에이전트 지식 작업 등의 벤치마크에서 Anthropic과 OpenAI의 클로즈드 소스(closed-source) 최첨단 모델들과 경쟁하며, 오픈 소스가 최첨단 연구소들로부터 멀지 않으며 경우에 따라 이미 그 수준에 도달했음을 입증합니다.

K3는 이제 Telnyx가 소유한 GPU 인프라에서 실행되며 OpenAI와 호환되는 API를 통해 접근할 수 있습니다.