Hub 에 Fireworks.ai 환영 🎆

Fireworks.ai 는 이제 HF Hub 의 지원된 Inference Provider 가 되었습니다!

Fireworks.ai 는 모델 페이지 전체에서, 그리고 HF 생태계의 라이브러리 및 도구 전반에 걸쳐 번개 속도의 서버리스 추론을 제공하여, 좋아하는 모델에서 추론을 실행하는 것을 더욱 쉽게 만듭니다.

그 중에서도 이제부터 Fireworks.ai 를 통해 다음 모델을 서버리스 추론으로 실행할 수 있습니다:

• deepseek-ai/DeepSeek-R1
• deepseek-ai/DeepSeek-V3
• mistralai/Mistral-Small-24B-Instruct-2501
• Qwen/Qwen2.5-Coder-32B-Instruct
• meta-llama/Llama-3.2-90B-Vision-Instruct

그리고 더 많은 모델은 여기에서 찾을 수 있습니다.

오늘 Fireworks.ai 로 프로젝트를 روشن 하세요!

HF 에서 Fireworks 이 지원하는 모든 모델을 여기에서 검색하세요.

다음 예시는 Fireworks.ai 를 추론 제공자로 사용하여 DeepSeek-R1 을 사용하는 방법을 보여줍니다. Hugging Face 토큰을 사용하여 Hugging Face 를 통한 자동 라우팅을 사용할 수 있거나, Fireworks.ai API 키가 있는 경우 자체 키를 사용할 수 있습니다.

huggingface_hub 설치

소스:

pip install git+https://github.com/huggingface/huggingface_hub

provider 매개변수를 정의하여 huggingface_hub Python 라이브러리를 사용하여 Fireworks.ai 엔드포인트를 호출합니다.

from huggingface_hub import InferenceClient
client = InferenceClient(
    provider="fireworks-ai",
    ...

import { HfInference } from "@huggingface/inference";
const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");
const chatCompletion = await client.chatCompletion({
    ...

다음은 Fireworks.ai 를 추론 제공자로 사용하여 cURL 로 Llama-3.3-70B-Instruct 을 호출하는 방법입니다.

curl 'https://router.huggingface.co/fireworks-ai/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
...

직접 요청의 경우, 즉 Fireworks 키를 사용할 때, billing 은 Fireworks 계정에 직접 발생합니다.

라우팅된 요청의 경우, 즉 Hub 를 통해 인증할 때, 표준 Fireworks API 요금만 지불합니다. 추가 마크업은 없습니다. 우리는 제공자 비용을 직접 전달하기 때문입니다. (미래에는 우리 제공자 파트너와 수익 공유 계약을 체결할 수 있습니다.)

중요한 주의사항 ‼️ PRO 사용자는 매달 추론 크레딧 $2 를 받습니다. 여러 제공자로 사용할 수 있습니다. 🔥