Azure AI Foundry Agent Service를 사용하여 프로덕션용 AI 에이전트 구축하는 방법

수개월 동안 Azure OpenAI의 Assistants API는 Azure에서 에이전트를 구축하기 위한 유일한 실질적인 옵션이었습니다. 작동은 했지만 명확한 한계가 있었습니다: OpenAI 모델만 사용 가능하고, 네이티브 멀티 에이전트 (multi-agent) 지원이 없으며, Microsoft의 데이터 생태계와 직접적인 통합이 불가능하고, Microsoft가 점진적으로 멀어지고 있는 아키텍처라는 점이었습니다.

그 장은 2026년 3월에 막을 내렸습니다. Azure AI Foundry Agent Service가 일반 가용성 (general availability)에 도달하며 Azure에서 AI 에이전트를 구축, 배포 및 확장하기 위한 공식 플랫폼이 되었습니다. 기존의 Assistants API는 여전히 작동하지만, 은퇴 날짜(retirement date)가 정해져 있습니다: 2027년 3월 31일입니다. 새로운 프로젝트를 시작하거나 기존 프로젝트의 마이그레이션 (migration)을 고려하고 있다면, Foundry Agent Service가 여러분이 구축해야 할 곳입니다.

이 기사는 이 서비스가 무엇인지, 어떻게 구성되어 있는지, 무엇을 구축할 수 있는지, 그리고 프로덕션용 에이전트를 설계할 때 어떤 기술적 결정이 가장 중요한지를 설명합니다.

에이전트란 무엇이며 무엇이 아닌가

서비스에 대해 알아보기 전에, 용어에 대해 정확히 짚고 넘어갈 가치가 있습니다. 왜냐하면 이 용어는 문맥에 따라 매우 다른 방식으로 사용되기 때문입니다.

Microsoft Foundry 생태계에서의 에이전트란, Foundry 모델 카탈로그 (model catalog)의 모델을 사용하여 사용자의 요청을 추론하고 이를 충족하기 위해 자율적인 행동을 취하는 AI 애플리케이션입니다. 텍스트만 생성하는 챗봇 (chatbot)과 달리, 에이전트는 도구 (tools)를 호출하고, 외부 데이터에 접근하며, 작업을 완료하기 위해 여러 단계에 걸쳐 결정을 내릴 수 있습니다. 어떤 경우에는 에이전트에게 채팅 인터페이스가 아예 없을 수도 있습니다. 이들은 시스템 이벤트에 의해 트리거되어 백그라운드에서 자율적으로 작동하며, 사용자 또는 조직을 대신하여 작업을 완료합니다.

모든 에이전트의 세 가지 기본 구성 요소는 추론 및 언어 능력을 제공하는 모델 (model), 목표, 제약 조건 및 동작을 정의하는 지침 (instructions), 그리고 데이터에 대한 접근이나 검색, 파일 작업 또는 API 호출과 같은 구체적인 행동을 제공하는 도구 (tools)입니다.

Foundry의 두 가지 에이전트 유형

Foundry Agent Service는 에이전트를 두 가지 주요 범주로 분류하며, 이 중 무엇을 선택하느냐에 따라 작성해야 하는 코드의 양과 제어할 수 있는 권한의 정도가 결정됩니다.

Prompt agents (프롬프트 에이전트)

Prompt agents는 지침(instructions), 도구(tools), 그리고 설정(configuration)을 통해 정의하는 에이전트로, 사용자가 별도의 애플리케이션 코드를 작성하거나 유지 관리할 필요 없이 Foundry가 이를 실행합니다. 지불해야 할 컴퓨팅 비용도, 최적화해야 할 컨테이너도, 확장해야 할 인프라도 없습니다. Foundry 포털이나 SDK를 통해 에이전트를 정의하기만 하면 서비스가 나머지 과정을 처리합니다.

이 방식은 사용 사례가 명확하게 정의되어 있고, Foundry에서 제공하는 도구들이 필요한 기능을 충족하며, 수동으로 작성된 복잡한 오케스트레이션(orchestration) 로직이 필요하지 않을 때 적합한 선택입니다. 대부분의 기업 자동화, 고객 지원 또는 데이터 분석 시나리오에서 Prompt agents는 충분한 성능을 발휘하며 구현 속도도 훨씬 빠릅니다.

Hosted agents (호스팅 에이전트)

Hosted agents는 컨테이너로 패키징된 사용자 고유의 에이전트 코드를 가져와서, Foundry가 관리형 엔드포인트(managed endpoint), 자동 확장(automatic scaling), ID(identity), 그리고 내장된 관찰성(observability)과 함께 실행할 수 있도록 합니다. 해당 코드는 Agent Framework, LangGraph, OpenAI Agents SDK, Anthropic Agent SDK, GitHub Copilot SDK 또는 사용자 고유의 코드로 작성할 수 있습니다.

이 경로는 지침만으로는 표현할 수 없는 오케스트레이션 로직이 필요하거나, 독점 시스템(proprietary systems)과의 매우 구체적인 통합이 필요할 때, 또는 각 단계에서 에이전트의 동작을 완전히 제어해야 할 때 유용합니다. Hosted agents는 2026년 7월 초에 일반 가용성(general availability) 단계에 도달할 예정입니다.

기술적 기반: Responses API

Foundry Agent Service는 OpenAI Responses API를 기반으로 구축되었습니다. 이는 실무적으로 중요한 의미를 갖습니다. 만약 이미 Responses API를 직접 사용하여 실행 중인 코드가 있다면, 이를 Foundry로 마이그레이션하는 데 필요한 변경 사항은 최소화됩니다. 이를 통해 얻을 수 있는 이점은 기존 에이전트 로직 위에 기업용 보안, 프라이빗 네트워킹(private networking), Entra ID 액세스 제어, 완전한 추적성(traceability) 및 평가(evaluation) 기능이 계층적으로 추가된다는 점입니다.

Python, JavaScript, TypeScript, Java, .NET용 SDK를 사용할 수 있습니다. 안정 버전(stable version)은 2026년 3월에 출시된 2.0.0입니다. 해당 버전부터는 패키지에 openai와 azure-identity가 직접적인 의존성(dependencies)으로 포함되어 있어, 더 이상 별도로 설치할 필요가 없습니다.

import os
from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient
...

사용 가능한 도구 (Available tools)

에이전트의 진정한 유용성은 에이전트가 어떤 도구를 호출할 수 있는지에 달려 있습니다. Foundry Agent Service는 광범위한 내장 도구(built-in tools) 세트를 갖추고 있으며, MCP를 통해 외부 도구를 지원합니다.

내장 도구 (Built-in tools)

**파일 검색 (File Search)**은 에이전트가 서비스에 업로드된 파일을 검색할 수 있게 해주며, 내부 지식 베이스(knowledge bases) 구축에 유용합니다.

**코드 인터프리터 (Code Interpreter)**는 격리된 샌드박스(sandbox) 환경에서 Python 코드를 실행하며, 데이터 분석 및 차트 생성에 이상적입니다.

**Bing 검색 (Bing Search)**은 에이전트가 웹을 검색하여 최신 정보가 필요한 질문에 답변할 수 있도록 합니다.

SharePoint는 이제 서비스에 직접 통합된 일급 지식 도구(first-class knowledge tool)입니다. 에이전트는 커스텀 RAG 파이프라인(RAG pipeline)을 구축하지 않고도 SharePoint 문서에 접근할 수 있습니다.

Microsoft Fabric은 Fabric IQ를 통해 에이전트가 시맨틱 모델(semantic models) 및 온톨로지(ontologies)를 포함하여 Microsoft 데이터 플랫폼의 구조화된 데이터를 쿼리할 수 있도록 합니다.

Logic Apps는 1,400개 이상의 Azure Logic Apps 워크플로(workflows)에 대한 액세스를 에이전트용 도구로 개방하여, 외부 시스템과의 방대한 통합 범위를 제공합니다.

**딥 리서치 (Deep Research)**는 Bing 검색을 지식 소스로 사용하여 Azure OpenAI의 o3-deep-research 모델로 다단계 연구 프로세스를 수행합니다.

컴퓨터 사용 (Computer Use) 및 **브라우저 자동화 (Browser Automation)**는 프리뷰(preview) 단계에 있습니다. 첫 번째 기능은 에이전트가 데스크톱 애플리케이션의 사용자 인터페이스(UI)와 상호작용할 수 있게 합니다. 두 번째 기능은 격리된 Microsoft Playwright 세션을 사용하여 자연어를 통해 브라우저에서 실제 작업을 실행할 수 있게 합니다.

MCP 및 툴박스 (MCP and Toolboxes)

Model Context Protocol (MCP)은 Foundry가 에이전트를 외부 도구와 연결하는 기본 메커니즘으로 채택한 개방형 표준입니다. 공개 미리 보기 (public preview) 상태인 Azure DevOps MCP Server를 포함하여, 포털 카탈로그에서 원격 MCP 서버를 직접 추가할 수 있습니다. 또한 MCP 웹후크 (webhook) 엔드포인트를 통해 Azure Functions에서 호스팅되는 자체 도구를 노출할 수도 있습니다.

Build 2026부터 공개 미리 보기 (public preview)로 제공되는 Toolboxes를 사용하면, 선별된 도구 세트를 한 번 정의하여 Foundry에서 중앙 집중식으로 관리하고, 단일 MCP 호환 엔드포인트를 통해 노출할 수 있습니다. 어떤 에이전트나 MCP 클라이언트도 사용하는 프레임워크에 관계없이 Toolbox를 사용할 수 있습니다. Toolbox에는 변경 사항이 프로덕션에 적용되는 시점을 제어하기 위한 명시적인 버전 관리 (versioning) 기능이 포함되어 있습니다.

멀티 에이전트: 연결된 에이전트 (Multi-agent: Connected Agents)

작업이 단일 에이전트가 수행하기에 너무 복잡할 경우, Foundry Agent Service는 미리 보기 (preview)로 제공되는 연결된 에이전트 (Connected Agents)를 통해 멀티 에이전트 워크플로 (multi-agent workflows)를 지원합니다.

연결된 에이전트 (Connected Agents)는 에이전트가 전문화된 작업을 위임하기 위해 다른 에이전트를 도구로서 호출할 수 있는 포인트 투 포인트 (point-to-point) 상호 작용을 가능하게 합니다. 기본 에이전트 (primary agent)가 조정하고 보조 에이전트 (secondary agent)가 하위 작업을 처리하며, 별도의 외부 오케스트레이터 (orchestrator)가 필요하지 않습니다.

더 복잡한 워크플로를 위해, Foundry는 Semantic Kernel 및 AutoGen을 위한 통합 런타임 (converged runtime)과 통합되어, AutoGen의 동적 오케스트레이션 (dynamic orchestration) 패턴과 Semantic Kernel의 모듈형 프로덕션급 아키텍처 (production-grade architecture)를 결합합니다. 그 결과, 로컬 환경과 클라우드 간의 일관된 동작을 유지하면서 단일 에이전트 및 멀티 에이전트 워크플로를 정의, 체이닝 (chaining) 및 관리할 수 있는 통합 API를 제공합니다.

엔터프라이즈 환경을 위한 보안 (Security for enterprise environments)

내부 데이터에 접근하고, 프로덕션 시스템에서 작업을 실행하며, 자율적인 결정을 내리는 에이전트는 공개 챗봇과는 매우 다른 보안 제어 (security controls)가 필요합니다.

Entra Agent ID는 각 에이전트에 고유한 Microsoft Entra ID를 부여합니다. 이는 에이전트가 자신을 호출하는 사용자가 아닌, 고유한 권한을 가진 엔티티 (entity)로서 인증됨을 의미하며, 이를 통해 에이전트 수준에서 최소 권한 원칙 (principle of least privilege)을 적용할 수 있습니다.

프라이빗 네트워킹 (Private networking) 기능이 GA (General Availability)로 지원됩니다. 공용 이그레스 (public egress) 없이, 컨테이너 및 서브넷을 사용자의 네트워크에 주입하는 BYO VNet (Bring Your Own Virtual Network) 방식을 통해 완전히 격리된 환경을 구축할 수 있습니다. 프라이빗 네트워킹은 MCP 서버, Azure AI Search, Fabric 데이터 에이전트를 포함한 도구 연결성 (tool connectivity)까지 확장됩니다.

**통합된 콘텐츠 안전성 (Integrated content safety)**에는 안전하지 않은 출력을 줄이고, 교차 프롬프트 주입 공격 (Cross-Prompt Injection Attacks, XPIA)을 포함한 프롬프트 주입 (prompt injection) 위험을 완화하기 위한 가드레일 (guardrails)이 포함되어 있습니다.

프로덕션에서의 관찰 가능성 (Observability)

에이전트가 무엇을 하고 있는지 가시성 없이 프로덕션에서 실행하는 것은 실행 불가능합니다. Foundry Agent Service는 2026년 3월에 GA에 도달한 내장된 관찰 가능성 (observability) 기능을 갖추고 있습니다.

트레이싱 (Tracing)은 요청, 도구 호출, 응답을 포함한 전체 엔드 투 엔드 (end-to-end) 실행 경로를 캡처하며, 메모리, 상태 및 계획을 포함하는 AI 워크로드용 OpenTelemetry 시맨틱 (semantics)을 사용합니다. 평가 결과는 이를 생성한 트레이스 (trace)와 직접 연결되므로, 회귀 (regression) 현상이 나타나면 점수에서 해당 문제를 노출시킨 정확한 프로덕션 트레이스로 바로 이동할 수 있습니다.

내장된 평가기 (evaluators)는 직접 생성 (direct generation) 및 RAG 시나리오 모두에 대해 일관성 (coherence), 관련성 (relevance), 근거성 (groundedness), 검색 품질 (retrieval quality) 및 안전성을 다룹니다. 프리뷰 (preview) 단계인 사용자 정의 평가기 (custom evaluators)를 사용하면 특정 비즈니스 요구 사항 또는 규제 표준에 맞춘 LLM-as-a-judge 평가 로직을 정의할 수 있습니다.

배포: 에이전트가 거주하는 곳

배포 채널이 없는 에이전트는 사용자에게 도달할 수 없습니다. Foundry는 에이전트를 게시하는 여러 가지 방법을 지원합니다.

가장 직접적인 방법은 어떤 애플리케이션이든 사용할 수 있는 REST 엔드포인트 (REST endpoint)입니다. Microsoft 환경의 경우, 에이전트를 Microsoft Teams 및 Microsoft 365 Copilot에 직접 게시할 수 있으며, ID (identity), 권한 (permissions), 정책 (policies)이 플랫폼의 채널을 통해 자동으로 흐릅니다. 이 기능은 2026년 6월에 일반 가용성 (general availability)을 목표로 계획되었습니다.

Entra Agent Registry는 조직 전체에서 에이전트의 등록 및 검색을 중앙 집중화하여, 팀이 에이전트를 새로 구축하는 대신 기존 에이전트를 찾아 재사용할 수 있도록 합니다.

미리 보기 (preview) 단계인 A2A (agent-to-agent) 프로토콜은 서로 다른 시스템의 에이전트 간 통신을 가능하게 합니다.

현재 사용하지 말아야 할 것

Azure OpenAI를 사용하며 클래식 Assistants API를 사용하고 있다면, 해당 API는 지원 중단 (deprecated)되었으며 2027년 3월 31일에 은퇴 (retires)합니다. 클래식 서비스는 현재 Microsoft Learn의 /azure/foundry-classic/agents/ 아래에 문서화되어 있습니다. 새로운 서비스는 /azure/foundry/agents/ 아래에 위치합니다.

클래식 Assistants API에서 새로운 Agent Service로 마이그레이션 (migrating)하는 것이 간단하지는 않지만, 그렇다고 복잡한 것도 아닙니다. 공식 마이그레이션 가이드는 Microsoft Learn에서 확인할 수 있습니다.

어떻게 시작하나요?

VS Code용 Foundry Toolkit은 Build 2026에서 일반 가용성 (general availability)에 도달했습니다. 이를 통해 IDE에서 직접 템플릿을 사용하거나 GitHub Copilot을 사용하여 에이전트를 생성할 수 있고, 추적 시각화 (trace visualization)와 함께 로컬에서 실행을 디버깅 (debug)할 수 있으며, Toolbox를 연결하고 VS Code를 벗어나지 않고 Foundry Agent Service에 배포할 수 있습니다.

아무것도 설치하지 않고 실험해보고 싶다면, ai.azure.com의 Azure AI Foundry 포털을 통해 노코드 (no-code) 모드에서 에이전트를 생성, 구성, 디버깅 및 테스트할 수 있으며, 대화 스레드 (conversation threads)를 확인하고, 도구 (tools)를 추가하며, 인터페이스에서 에이전트와 직접 상호작용할 수 있습니다.

공식 문서와 퀵스타트 (quickstarts)를 탐색하려면 다음을 참조하세요:

👉 https://learn.microsoft.com/azure/ai-foundry/agents/?wt.mc_id=studentamb_510930

Azure에서 에이전트를 구축하는 것은 더 이상 인프라를 처음부터 조립하거나 곧 사라질 API에 의존할 필요가 없음을 의미합니다. Foundry Agent Service는 런타임 (runtime), ID (identity), 네트워킹 (networking), 도구 (tools), 메모리 (memory), 그리고 관찰 가능성 (observability)을 서비스의 일부로 제공합니다. 개발자 측에 남은 과제는 에이전트가 무엇을 할지, 어떤 도구를 사용할지, 그리고 어떻게 배포할지를 결정하는 것입니다. 그리고 이것이 결국 가장 흥미로운 부분입니다.