Baseten이 Hugging Face Inference Provider로 지원됩니다

Baseten이 이제 Hugging Face Hub에서 지원되는 Inference Provider가 되었음을 기쁘게 알려드립니다!

Baseten은 저희의 성장하는 생태계에 합류하여, Hub 모델 페이지에서 서버리스 추론(serverless inference)의 폭과 기능을 향상시킵니다. 또한, Inference Providers는 클라이언트 SDK(JS 및 Python 모두용)에도 원활하게 통합되어, 사용자가 선호하는 Provider를 통해 다양한 종류의 모델을 사용하는 것이 매우 쉬워졌습니다.

Baseten은 서버리스 AI, 트레이닝 등을 포괄하는 AI 인프라 플랫폼입니다. 많은 최첨단 모델(frontier models) 카탈로그를 갖춘 Baseten은 개발자가 최소한의 설정으로 광범위한 AI 기능을 애플리케이션에 통합할 수 있도록 쉽게 만듭니다.

Baseten은 LLM부터 텍스트-음성 변환(text-to-speech) 등 폭넓은 유형의 모델을 지원합니다. 이번 초기 통합의 일환으로, Baseten은 Hugging Face에서 대화형 및 텍스트 생성 작업에 대한 지원을 시작하며, Kimi K3, 최신 DeepSeek V4 Flash, GLM-5.2 등 인기 있는 오픈 웨이트 LLM(open-weight LLMs) 접근을 가능하게 합니다. 추가 작업에 대한 지원은 곧 제공될 예정입니다!

Baseten이 지원하는 전체 모델 목록은 여기에서 확인하세요.

Hugging Face에서 Baseten 팔로우하기: https://huggingface.co/baseten.

• 사용자 계정 설정(user account settings)에서 다음을 수행할 수 있습니다:

• 가입한 Provider에 대한 자체 API 키를 설정할 수 있습니다. 맞춤 키가 설정되지 않은 경우, 요청은 HF를 통해 라우팅됩니다.

• 선호도에 따라 Provider 순서를 지정할 수 있습니다. 이는 모델 페이지의 위젯 및 코드 스니펫에 적용됩니다.

• 언급했듯이, Inference Providers를 호출할 때 두 가지 모드가 있습니다:

• 사용자 정의 키(Custom key): 요청이 추론 Provider로 직접 전송되며, 해당 추론 Provider의 자체 API 키를 사용합니다.

• HF 라우팅(Routed by HF): 이 경우, Provider로부터 토큰이 필요하지 않으며, 비용은 Provider 계정이 아닌 귀하의 HF 계정에 직접 청구됩니다.

• 모델 페이지는 제3자 추론 Provider를 보여줍니다 (현재 모델과 호환되며, 사용자 선호도에 따라 정렬됨)

Baseten은 Python용 huggingface_hub (>= 1.26.1) 및 JavaScript용 @huggingface/inference를 통해 Hugging Face SDK에서 사용할 수 있습니다.

다음 예제들은 Baseten을 통해 최신 DeepSeek V4 Flash 모델을 사용하는 방법을 보여줍니다. 인증을 위해 Hugging Face 토큰을 사용하세요. 요청은 자동으로 Baseten으로 라우팅됩니다.

Hugging Face Inference Providers는 Pi, OpenCode, Hermes Agents, OpenClaw 등 대부분의 Agent Harness에 통합되어 있습니다. 이는 추가적인 연결 코드(glue code) 없이 baseten에서 호스팅하는 모델을 좋아하는 도구에 바로 플러그인할 수 있다는 의미입니다. 전체 통합 목록은 여기를 참조하세요.

import os
from openai import OpenAI
client = OpenAI(
...

import { OpenAI } from "openai";
const client = new OpenAI({
baseURL: "https://router.huggingface.co/v1",
...

직접 요청(direct requests), 즉 추론 제공자(inference provider)의 키를 사용할 때는 해당 제공자에게 비용이 청구됩니다. 예를 들어, baseten API 키를 사용하면 baseten 계정에서 요금이 부과됩니다.

라우팅된 요청(routed requests), 즉 Hugging Face Hub를 통해 인증할 때는 표준 제공자 API 요금만 지불하시면 됩니다. 저희 측의 추가 마크업은 없으며, 제공자 비용을 직접 전달합니다. (미래에는 제공자 파트너와 수익 공유 계약을 체결할 수 있습니다.)

중요 공지사항 ‼️ PRO 사용자는 매월 $2 상당의 추론 크레딧(Inference credits)을 받습니다. 이 크레딧은 모든 제공자에서 사용할 수 있습니다. 🔥

저희는 로그인한 무료 사용자에게도 소량의 할당량을 가진 무료 추론 기능을 제공하지만, 가능하다면 PRO로 업그레이드해 주시길 바랍니다!

여러분의 피드백을 받고 싶습니다! 생각이나 의견을 여기에 공유해주세요: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49