Microsoft Build 2026에서 우리는 Foundry Managed Compute와 Foundry용 Hugging Face 모델을 발표했습니다. 후자는 Hugging Face 생태계의 오픈 웨이트(open-weight) 모델로 구성된 엄선된 카탈로그이며, 매주 업데이트되며 Foundry Managed Compute에 원클릭으로 배포할 수 있습니다. 가중치(Weights)는 Azure에 사전 배치되고, 런타임은 Microsoft가 구축하고 스캔하며, 컬렉션 내의 모든 모델은 Foundry의 다른 모든 모델에 적용되는 것과 동일한 엔터프라이즈 보안, 거버넌스, 관측 가능성(observability), 및 청구 기능을 갖추고 있습니다.
Microsoft Foundry는 에이전트형 AI 애플리케이션을 구축하고 운영하기 위한 플랫폼입니다. Foundry는 Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face 등으로부터 온 프론티어(frontier) 모델, 오픈 소스(open-source) 모델, 커스텀 웨이트를 포함하여 클라우드에서 가장 광범위한 모델 선택지를 제공하며, 이 모든 것은 단일 엔드포인트와 Python, C#, JavaScript, Java의 단일 SDK 세트를 통해 접근할 수 있습니다.
이러한 모델들 위에는 Foundry Agent Service가 자리 잡고 있습니다. 이는 내장 메모리, Foundry IQ를 통한 지식 접지(knowledge grounding), 그리고 에이전트형 프로토콜(agentic protocols)을 통해 연결 가능한 도구 카탈로그를 갖춘 다중 에이전트 오케스트레이션 서비스로, 에이전트가 기업 데이터와 함께 작업할 수 있도록 합니다. 에이전트가 실행된 후에도 Foundry는 엔드투엔드 트레이싱(end-to-end tracing), 실시간 모니터링, 지속적인 평가(continuous evaluations), 그리고 평가 결과를 기반으로 에이전트 동작을 개선하는 프롬프트 최적화기(prompt optimizer)를 제공합니다. 이는 플랫폼의 일부인 관측 가능성 및 품질 루프입니다.
그 외에도 개발자는 다음 기능에 접근할 수 있습니다:
- 콘텐츠 안전 필터
- 태스크 준수 가드레일(Task-adherence guardrails)
- 적대적 테스트를 위한 AI 레드팀 에이전트(AI Red Teaming Agent)
- 통합 RBAC (Role-Based Access Control)
- 프라이빗 네트워킹
- 플랫폼 내 직접적인 Azure Policy 통합
사용량 기반 토큰 청구(pay-per-token, 시작하기 위한 마찰 최소화 경로)와 프로비저닝된 처리량(provisioned throughput, 프론티어 모델에 대한 예측 가능하고 고성능의 프로덕션 워크로드) 외에도, Foundry Managed Compute는 Foundry의 세 번째 배포 옵션입니다. 이는 오픈 소스 및 커스텀 모델을 위한 관리형 GPU 플랫폼 서비스(platform-as-a-service)를 제공합니다.
사용자는 워크로드에 중요한 요소들—매개변수 수(parameter count), 컨텍스트 길이(context length), 그리고 지연 시간(latency) 또는 처리량(throughput) 중 어떤 것에 최적화할지 여부—로 설명되는 모델 인스턴스를 배포하며, Foundry는 해당 인스턴스가 단일 가속기 또는 여러 가속기에 배치되든 관계없이 하단의 GPU 토폴로지를 처리합니다. 따라서 사용자는 모델 관점에서 생각하고 계획할 수 있습니다.
Microsoft가 장치(machine)를 관리합니다: 지원되는 런타임인 vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp에서 컨테이너 업데이트, 런타임 업그레이드 및 보안 패치가 모델을 재배포하지 않고도 자동으로 이루어지며, 모델 구성, 배포 동작 및 라우팅은 사용자가 유지합니다.
이러한 일관성은 개발자 인터페이스 전반에 걸쳐 유지됩니다: 토큰당 비용 지불(pay-per-token), 프로비저닝된 처리량(provisioned throughput), 그리고 Managed Compute 공유:
- 단일 엔드포인트
- 동일한 SDK
- 동일한 인증 방식
- 동일한 관측 가능성(observability)
- 단일 청구서
오픈 소스 모델은 프론티어 모델과 마찬가지로 Foundry Agents와 통합되므로, 별도의 통합 경로 없이 단일 에이전트 내에서 다양한 유형의 모델을 혼합할 수 있습니다.
Managed Compute가 제공하는 기능:
글로벌 배포(Global deployments)—가장 광범위한 용량과 최적의 가격 책정
데이터 존 배포(Data Zone deployments)—거주지 및 주권 보장
동일한 코드, 동일한 워크플로우입니다. 할당량은 가속기 패밀리에 맞춰 조정되므로, 오늘 H100 패밀리를 기반으로 구축된 계획은 새로운 하드웨어 세대가 온라인 상태가 되어도 유지됩니다.
Hugging Face는 오픈 AI의 공공 광장입니다: 1,500만 명의 빌더, 40만 개의 조직, 그리고 300만 개 이상의 공개 모델이 게시되었으며, 에이전트 코딩(agentic coding), 비디오 분할(video segmentation), 음성(speech), 임베딩(embeddings)과 같은 새로운 프론티어 기능들이 매주 등장하고 있습니다. 이곳은 오픈 모델의 GitHub와 같아서 커뮤니티가 가중치(weights)를 게시하고, 모델 카드(model cards)를 작성하며, 평가를 비교하고, 실험을 위해 모델을 가져가는 곳입니다.
오픈 모델들은 벤치마크마다 독점 모델과의 격차를 줄여왔으며, 독점 엔드포인트가 할 수 없는 것들을 가능하게 합니다:
최첨단 기술이 이제 공개되었습니다. 선도적인 오픈 가중치(open-weight) 모델들이 가장 널리 사용되는 벤치마크에서 최고 수준의 폐쇄형 프론티어 모델들과 경쟁할 수 있습니다.심층 맞춤화. 전체 가중치(full weights)를 사용하면 LoRA를 이용해 파인튜닝(fine-tune), 증류(distill), 양자화(quantize), 그리고 적응(adapt)하는 것이 가능하며, 모델을 특정 도메인, 데이터, 지연 시간(latency) 및 비용 목표에 맞게 조정할 수 있습니다.당신의 모델, 당신의 호스팅. 가중치는 사용자가 통제하는 인프라 내 테넌트(tenant)에서 실행되며, 사용자 고유의 추론 엔드포인트(inference endpoint), 신원 및 네트워크 경계 뒤에 위치합니다.비용 최적화. 가속기(accelerators)에 대해 시간 단위로 비용을 지불하고, 유휴 시에는 0으로 확장하며, 특정 모델에 맞게 GPU 크기를 조정할 수 있습니다. 이는 토큰당 가격 책정이 예측하기 어려운 꾸준하고 대용량 또는 지연 시간에 민감한 워크로드에 유용합니다.버전 관리. 특정 모델 버전을 고정(pin)하고, 평가하며, 배포한 다음, 자체 릴리스 주기(release cadence)에 따라 진행하거나 롤백할 수 있습니다.
항상 어려웠던 부분은 운영 계층(operational layer)이었습니다: 검색, 라이선스 검토, 보안 심사, 런타임 선택, GPU 크기 지정, 이미지 빌드, CVE 패치, 그리고 엔터프라이즈급 엔드포인트 뒤에 모델을 구축하는 것입니다. Hugging Face 자체만으로는 기업용 서빙 플랫폼이 아닙니다. Foundry의 Hugging Face 모델은 마이크로소프트가 운영하는 바로 그 운영 계층입니다.
Hugging Face 컬렉션(Collection)은 선별된 모델 하위 집합을 Foundry 모델 카탈로그에 직접 가져옵니다:
매주 업데이트됨 — 커뮤니티가 게시함에 따라 Hugging Face 생태계의 트렌드 모델들이 지속적으로 추가됩니다.모든 모달리티(modality) — 텍스트, 비전, 오디오 및 멀티모달: 채팅 및 에이전트를 위한 LLM과 VLM, ASR 및 음성 번역, 임베딩, 분할(segmentation), 이미지 생성.SafeTensors만 사용하며, 신뢰할 수 없는 코드는 없음 — 컬렉션의 모든 모델은 보안 심사를 거쳤으며, trust_remote_code 없이 SafeTensors 가중치 형식으로 제공됩니다.
실행 경로(execution paths)를 거치지 않는 한 엄격하게 검토되지 않습니다.모델에 적합한 런타임— LLM용 vLLM 및 SGLang, 적용 가능한 경우 TensorRT-LLM 및 NIM, 임베딩용 TEI, CPU용 llama.cpp — Foundry는 모델과 일치하는 엔진을 선택합니다.
사용자 측면에서, Hugging Face 컬렉션(Hugging Face Collection)에 있는 오픈 가중치 모델은 Foundry 모델 카탈로그(Foundry Model Catalog)의 다른 모든 모델처럼 보이고 작동하며, 컬렉션 내의 모든 모델은 그곳에 표시되기 전에 다단계 게시 파이프라인을 거쳤습니다.
Hugging Face와 Microsoft는 체계적인 큐레이션 프로세스를 통해 가장 인기 있는 오픈 가중치 모델들을 Hugging Face 생태계(Hugging Face ecosystem)에서 Microsoft Foundry로 가져옵니다. 이 모델들은 엔터프라이즈 환경에 즉시 배포할 수 있도록 준비됩니다 (production-ready):
Hugging Face 생태계에서 트렌드를 선도하는 모델을 파악합니다. 이는 커뮤니티 신호(community signals), 파트너 요청, 고객 수요를 기반으로 하며, 엔터프라이즈 준비가 가능한 후보군을 선정합니다.규정 준수 및 보안 검토— 모델 라이선스는 Microsoft의 엔터프라이즈 배포 정책에 따라 검토됩니다 (이때 라이선스 메타데이터는 카탈로그 모델 카드에 캡처되어 보존됨). 또한, 저장소(repositories)는 trust_remote_code가 있는지 확인합니다.
패턴 및 사용자 정의 실행 코드; 로드 시점에 타사 Python 실행이 필요한 모든 모델은 수정되거나 제외됩니다.런타임 빌드, 스캔 및 게시 — Microsoft는 지원되는 런타임(vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp)을 사용하여 추론 컨테이너 이미지를 구축하고, CVE(Common Vulnerabilities and Exposures)에 대해 스캔하며, 이를 Microsoft 관리 컨테이너 레지스트리에 서명 및 게시합니다.안전한 Azure 스토리지에 가중치 업로드 — 모델 가중치는 Hugging Face에서 한 번 가져와서, 게시된 모델 카드와 검증되며, 모델이 서비스되는 지역의 Microsoft 관리 Azure 스토리지에 저장됩니다.카탈로그 검증 및 게시 — 모든 모델 + 런타임 + 가속기 조합은 API 준수성(채팅 완성(chat completions), 임베딩(embeddings), 재순위화(rerank) 등)과 성능(지연 시간(latency), 처리량(throughput), 첫 토큰까지의 시간(time-to-first-token), 토큰 간 디코딩 시간(inter-token decode time))에 대해 테스트되며, 이후 검증된 모델 — 템플릿, 런타임 이미지 및 가중치와 함께 — Foundry Model Catalog에 게시되고 관리형 컴퓨팅(Managed Compute)에서 원클릭 배포 경로를 갖게 됩니다.
가중치가 Azure 스토리지에 사전 배치되어 있고 런타임 이미지가 Microsoft 관리 레지스트리에 존재하기 때문에, 배포 시 Hugging Face Hub로 아웃바운드 네트워크 액세스가 필요하지 않아 사설 네트워크 내부에서 프로덕션 환경에 배포할 수 있습니다.
Hugging Face 모델을 Foundry에서 구동하는 것은 커뮤니티가 구축한 다재다능한 오픈 소스 추론 런타임 컬렉션을 기반으로 하며, 각 런타임은 Foundry Managed Compute를 위해 선택 및 조정되었고 해당 모델 아키텍처에 가장 적합하게 매칭됩니다. 모든 런타임에 걸쳐 체계적인 큐레이션 프로세스를 거치기 때문에 새로운 버전과 패치가 Foundry에 빠르게 적용되며, 기존 모델 배포는 재배포할 필요 없이 자동으로 업그레이드됩니다.
vLLM— 오픈 대규모 언어 모델(LLM)을 위한 기본 고처리량 서빙 엔진이며, 프로덕션 GPU 워크로드에 최적화되어 있습니다. Hugging Face는 vLLM의 직접적인 기여자이므로, Transformers 라이브러리의 모든 모델은 별도의 설정 없이 vLLM에서 실행될 수 있습니다. 따라서 새로운 모델이 Hugging Face에 올라오면, 맞춤형 통합을 기다릴 필요 없이 그날 바로 Foundry에서 서빙할 수 있습니다.SGLang— 언어 및 멀티모달 모델을 위한 서빙 엔진이며, 에이전트(agentic) 및 도구 사용 워크로드에 필수적인 구조화된 출력(JSON, 정규 표현식(regex), 문법 제약 생성 등)에 대한 강력한 지원을 제공합니다. Hugging Face와 SGLang 팀은 SGLang용 Transformers 백엔드 통합을 구축했기 때문에, Transformers 라이브러리의 모든 모델이 별도의 설정 없이 SGLang에서 실행되며, Hugging Face에 올라온 당일 바로 Foundry에서도 사용할 수 있습니다.Text Embeddings Inference (TEI)— 임베딩(embedding), 리랭커(reranker), 시퀀스 분류 모델을 위한 런타임입니다. 가속기별 이미지에는 Foundry가 지원하는 각 GPU 및 CPU 계열에 대해 컴파일된 커널이 포함되어 있어, RAG(검색 증강 생성) 및 시맨틱 검색 워크로드의 임베딩 고속 경로를 효율적으로 유지합니다.llama.cpp— GGUF 양자화 모델을 위한 CPU 및 소형 GPU 경로입니다. 비용 최적화 배포, 더 작은 모델, CPU 전용 지역에 유용하며, vLLM 및 SGLang과 동일한 OpenAI 호환 API를 제공합니다.TensorRT-LLM 및 NIM— NVIDIA 하드웨어에서 사용되며, NVIDIA의 최적화된 커널과 Triton 기반 서빙을 통해 특정 모델 제품군에 대해 의미 있게 더 나은 지연 시간(latency) 또는 처리량(throughput)을 제공합니다.hf-serve— Hugging Face 자체의 멀티 모델 추론 서버로, LLM 및 임베딩 고속 경로 외의 모델 아키텍처(비전, 오디오, 분할 등 다른 Transformers 네이티브 파이프라인)에 사용되어 컬렉션이 일관된 서빙 계층으로 모든 모달리티를 커버할 수 있도록 합니다.
Foundry 모델 카탈로그의 Hugging Face 컬렉션에서 시작하며, 배포는 5단계로 진행됩니다:
카탈로그 탐색 및 모델 선택— 배포 마법사(deploy wizard)는 또한 모델 ID, 배포 템플릿 ID 및 acceleratorType도 표시합니다.
SDK나 REST를 통해 배포(deploy)를 스크립팅하는 경우 다음이 필요합니다. 배포 템플릿을 선택하세요— 지연 시간 최적화(latency-optimized)와 처리량 최적화(throughput-optimized), 가속기 패밀리, 컨텍스트 길이, 양자화(quantization) 등을 고려할 수 있습니다. 인스턴스 개수를 구성하세요— 모델 인스턴스를 추가하여 처리량을 확장합니다. 배포하세요— 포털, CLI, SDK 또는 REST를 통해 가능합니다. 사용 중인 SDK를 사용하여 통합된 Foundry 엔드포인트에서 **점수 측정(Score)**을 수행하세요.
배포 템플릿은 2단계에서 선택하는 단위입니다. 이는 모델을 잘 서비스하기 위해 필요한 런타임, 가속기 패밀리 및 개수, 컨텍스트 길이, 그리고 런타임별 특정 튜닝을 고정(pins)하는 이름이 지정되고 버전 관리되는 에셋입니다. 따라서 템플릿을 선택하는 것이 "이 모델을 어떻게 실행하고 싶은가"에 대한 유일한 조정 장치(knob)를 돌리는 것입니다.
예를 들어, qwen3-32b는 배포 마법사에서 나란히 노출되는 네 가지 템플릿과 함께 제공됩니다:
| Template | Runtime | Accelerator | Context |
|---|
qwen–qwen3-32b–40k-nvidia-a100 | vLLM | 1 × A100 80 GB | 40K |
qwen–qwen3-32b–40k-nvidia-h100 | vLLM | 1 × H100 80 GB | 40K |
qwen–qwen3-32b–128k-nvidia-2xa100 | vLLM | 2 × A100 80 GB | 128K |
qwen–qwen3-32b–128k-nvidia-2xh100 | vLLM | 2 × H100 80 GB | 128K |
각 템플릿은 모델에 맞춰 사전 튜닝되어 제공됩니다— 런타임 설정, 도구 호출(tool-call) 및 추론 파서(reasoning parsers), 점수 측정 경로(scoring path), 상태 확인 프로브(health probes), 요청 동시성(request concurrency), 그리고 모든 모델별 컨텍스트 확장(context-extension) 설정이 Microsoft에 의해 설정되며, 발생 가능한 모든 트레이드오프는 템플릿 설명 내에 명시됩니다. 배포를 스크립팅할 때 템플릿을 참조하기만 하면 Foundry가 나머지 작업을 처리합니다.
from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)
...
배포는 OpenAI SDK를 통해 통합된 Foundry 엔드포인트에서 접근할 수 있으며, model 필드는 방금 생성한 배포 이름을 사용합니다.
다음과 같이 OpenAI 라이브러리를 가져오고 API 키와 엔드포인트를 설정합니다.
from openai import OpenAI
api_key = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"
...
