새로운 세 가지 서버리스 추론 제공자 소개: Hyperbolic, Nebius AI Studio, Novita 🔥

이 파트너들은 Together AI, Sambanova, Replicate, fal 과 Fireworks.ai 와 같은 기존 제공자와 함께 합류했습니다.

새로운 파트너들은 DeepSeek-R1, Flux.1 및 기타 많은 모델을 가능하게 합니다. 아래에 지원되는 모든 모델을 확인하세요:

우리는 새로운 제공자与您 함께 구축할 것을 매우 기대합니다!

• 사용자 계정 설정에서 다음을 할 수 있습니다:

• 가입한 제공자를 위한 자체 API 키를 설정할 수 있습니다. 커스텀 키가 설정되지 않은 경우 요청은 HF 를 통해 라우팅됩니다.

• 선호도에 따라 제공자를 정렬할 수 있습니다. 이는 모델 페이지의 위젯 및 코드 스니펫에 적용됩니다.

• 추론 API 를 호출하는 두 가지 모드가 있습니다:

• 커스텀 키 (추론 제공자의 자체 API 키를 사용하여 직접 추론 제공자에게 요청이 전송됨)

• HF 로 라우팅됨 (이 경우 제공자에서 토큰을 필요로 하지 않으며, 비용은 제공자 계정이 아닌 HF 계정에 직접 적용됩니다)

• 모델 페이지는 세 번째-party 추론 제공자를 소개합니다 (현재 모델과 호환되는 제공자, 사용자 선호도에 따라 정렬됨)

다음 예제는 Hyperbolic 을 추론 제공자로 사용하여 DeepSeek-R1 을 사용하는 방법을 보여줍니다. Hugging Face 토큰을 사용하여 Hugging Face 를 통해 자동 라우팅하거나, 자체 Hyperbolic API 키를 사용할 수 있습니다.

huggingface_hub 설치

소스 (지침 참조) 에서 직접 설치할 수 있습니다. 공식 지원은 곧 v0.29.0 버전에서 출시됩니다.

from huggingface_hub import InferenceClient
client = InferenceClient(
provider="hyperbolic",
...

그리고 텍스트 프롬프트를 사용하여 Nebius AI Studio 에서 실행되는 FLUX.1-dev 를 이미지로 생성하는 방법은 다음과 같습니다:

from huggingface_hub import InferenceClient
client = InferenceClient(
provider="nebius",
...

다른 제공자로 이동하려면 단순히 제공자 이름을 변경하면 됩니다, 나머지는 동일합니다:

from huggingface_hub import InferenceClient
client = InferenceClient(
- provider="nebius",
...

import { HfInference } from "@huggingface/inference";
const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");
const chatCompletion = await client.chatCompletion({
...

직접 요청 (추론 제공자에서 키를 사용할 때) 의 경우, 해당 제공자에 의해 청구됩니다. 예를 들어, Nebius AI Studio 키를 사용하면 Nebius AI Studio 계정에 청구됩니다.

라우팅된 요청 (허브를 통해 인증할 때) 의 경우, 표준 제공자 API 요금만 지불합니다. 우리는 추가 마진을 부과하지 않으며, 제공자 비용을 직접 전달합니다. (미래에는 파트너 제공자와 수익 공유 계약을 체결할 수 있습니다.)

중요한 참고사항 ‼️ PRO 사용자는 매달 2 달러 분량의 추론 크레딧을 받습니다. 모든 제공자를 사용할 수 있습니다. 🔥

우리는 가입된 무료 사용자에게 작은 할당량을 제공하는 무료 추론도 제공합니다. 업그레이드를 할 수 있다면 PRO 로 업그레이드하세요!

귀하의 피드백을 원합니다! 여기 Hub 토론을 사용할 수 있습니다: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49