Hugging Face Inference Provider에 Public AI 지원 추가 🔥

Public AI가 이제 Hugging Face Hub의 지원된 Inference Provider로 등록되었습니다!

Public AI는 Hugging Face의 성장하는 생태계에 합류하여, Hub의 모델 페이지에서 서버리스 inference(추론)의 폭과 기능을 향상시켰습니다. Inference Provider는 또한 JS 및 Python 양쪽 모두의 클라이언트 SDK에 원활하게 통합되어 있어, 선호하는 제공자와 다양한 모델을 사용하는 것이 매우 쉬워졌습니다.

이 출시를 통해 이제 Hugging Face 에서 바로 스위스 AI 기구 (Swiss AI Initiative) 와 AI Singapore(싱가포르 AI 연구소) 같은 기관의 공공 및 주권 모델 (public and sovereign models) 에 접근하기 쉬워졌습니다. Public AI 의 조직을 Hub 에서 https://huggingface.co/publicai 로 검색하고, https://huggingface.co/models?inference_provider=publicai&sort=trending 을 통해 인기 있는 지원된 모델을 시도해 볼 수 있습니다.

Public AI Inference Utility 는 비영리 오픈소스 프로젝트입니다. 팀은 스위스 AI 기구와 AI Singapore 등 공공 AI 모델 빌더의 작업을 지원하는 제품 개발과 홍보 활동을 조직합니다.

Public AI Inference Utility 는 vLLM 기반 백엔드 (backend) 와 여러 파트너에 대한 복원력 (resilience) 을 위한 배포 레이어를 결합한 분산 인프라에서 실행됩니다. 배경 작업에서는 vLLM 에서 OpenAI 호환 API 를 노출하는 서버들이 국가 및 산업 파트너가 기증한 클러스터에 배포되어 inference(추론) 처리를 수행합니다. 전역 로드 밸런싱 레이어 (global load-balancing layer) 는 어떤 국가의 컴퓨팅이 쿼리를 처리하든 효율적이고 투명하게 요청을 라우팅합니다.

무료 공공 접근은 기증된 GPU 시간과 광고 보조금 (advertising subsidies) 으로 지원되며, 장기적인 안정성은 국가 및 기관 기여에 의해 의도적으로 고정됩니다. Public AI 플랫폼 및 인프라에 대해 더 많은 정보를 https://platform.publicai.co/ 에서 학습할 수 있습니다.

이제 Hugging Face 에서 Inference Provider 로 Public AI Inference Utility 를 사용할 수 있습니다. 이 새로운 제공자와 함께 무엇을 구축하시는지 기대합니다.

Public AI 를 Inference Provider 로 사용하는 방법에 대해 자세히 읽으려면 전용 문서 페이지를 확인하세요.

지원된 모델 목록을 여기를 통해 확인하세요.

• 사용자 계정 설정에서 다음 작업을 수행할 수 있습니다:

• 등록한 제공자를 위한 자체 API 키를 설정할 수 있습니다. 커스텀 키가 설정되지 않은 경우, 요청은 HF 를 통해 라우팅됩니다.

• 선호도에 따라 제공자를 정렬할 수 있습니다. 이는 모델 페이지의 위젯 및 코드 스니펫에 적용됩니다.

• 언급한 바와 같이 Inference Provider 를 호출하는 두 가지 모드가 있습니다:

• 커스텀 키 (커스텀 인포레이션 제공자의 API 키를 사용하여 직접 인포레이션 제공자에 요청이 전송됨)

• HF 로 라우팅 (이 경우 제공자에서 토큰을 필요로 하지 않으며, 비용은 제공자 계정이 아닌 HF 계정에 직접 적용됩니다)

• 모델 페이지는 세 번째_party inference providers(타사 인퍼런스 제공자) 를 소개합니다 (현재 모델과 호환되는 제공자, 사용자 선호도에 따라 정렬됨).

다음 예제는 Public AI 를 Inference Provider 로 사용하여 스위스 AI 의 Apertus-70B 모델을 사용하는 방법을 보여줍니다. Hugging Face 토큰을 사용하여 Hugging Face 를 통한 자동 라우팅을 사용할 수 있거나, Public AI API 키를 직접 사용할 수도 있습니다 (만약 있는 경우).

참고: huggingface_hub 의 최신 버전 사용이 필요합니다.

(>= 0.34.6).

import os
from huggingface_hub import InferenceClient
client = InferenceClient(
...

import { InferenceClient } from "@huggingface/inference";
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({
...

작성 시점에는 Hugging Face Inference Provider 를 통해 Public AI Inference Utility 를 사용하는 것이 무료입니다. 가격 및 가용성은 변경될 수 있습니다.

플랫폼의 다른 제공자에 대한 청구 방식이 다음과 같습니다:

직접 요청 (인포레이션 제공자에서 키를 사용할 때) 의 경우, 해당 제공자에 의해 청구됩니다. 예를 들어 Public AI API 키를 사용하면 Public AI 계정에서 청구됩니다.

라우팅된 요청 (Hugging Face Hub 를 통해 인증할 때) 의 경우, 표준 제공자 API 요금만 지불됩니다. 추가 비용은 없습니다.