Conrad Bengaluru | 키노트, 고객 사례, 그리고 너무 많은 커피*로부터 얻은 노트

나는 Bengaluru에서 열린 Microsoft의 Cloud and AI Innovation Day에서 온종일 시간을 보냈습니다. 이번 컨퍼런스는 벤더의 홍보(pitch)와 실무자의 현실이 실제로 일치했던 보기 드문 날 중 하나였습니다. 매일 업무 시간 동안 Azure, Fabric, Logic Apps, 그리고 AI Foundry를 사용하는 사람으로서, 나는 두 가지를 찾기 위해 참석했습니다. 바로 Microsoft의 플랫폼이 어디로 향하고 있는지, 그리고 내 스택에 무엇을 가져올 수 있는지였습니다. 나는 두 가지 모두를 충분히 얻어 돌아왔습니다.

다음은 나의 정리 내용입니다. 먼저 큰 그림을 살펴보고, 그다음 세션과 연사들을, 마지막으로 나의 개인적인 배움과 세션 사이에 호텔 메모지에 휘갈겨 쓴 아이디어들을 공유하겠습니다.

큰 그림: Microsoft IQ와 "당신이 소유하는 지능 (Intelligence You Own)"

하루 전체를 관통하는 프레임워크는 Microsoft IQ Platform이었습니다. 이는 Microsoft의 전체 스택에 걸쳐 자리 잡은 지능 계층(intelligence layer)을 위한 Microsoft의 새로운 통합 체계입니다. 플랫폼 슬라이드는 Microsoft IQ를 중심에 두었으며, 그 주변을 Microsoft 365 Copilot, Copilot Studio, GitHub Copilot, Microsoft Fabric, Microsoft Foundry, 그리고 새로운 Agent 365가 둘러싸고 있습니다. 이 모든 것은 Azure 위에서 보안을 기반으로 구축되어 있습니다.

내 기억에 남는 문구는 이것입니다: "당신이 소유하는 지능, 당신이 제어하는 신뢰 — 하나의 연결된 플랫폼 (Intelligence you own, trust you control — one connected platform)." Microsoft는 이제 자사의 스택을 네 가지 계층으로 설명하고 있습니다:

1. Copilot — AI가 업무와 만나는 곳 (M365 Copilot, Copilot Studio, GitHub Copilot, Cowork)
2. Microsoft IQ — 당신이 소유하는 지능 계층 (Work IQ, Fabric IQ, Foundry IQ)
3. Foundry + Fabric — 모델 선택, 당신의 데이터와 의미론(semantics), 컨텍스트에 기반한 에이전트 ("엔진을 임대할 것인가 소유할 것인가")
4. Agent 365 + Security — 모든 에이전트를 위한 ID(identity), 거버넌스(governance), 그리고 제어

메시지는 명확합니다: 데이터에 챗봇을 단순히 덧붙이는 시대는 끝났습니다. Microsoft는 지능 계층 그 자체 — 즉, 의미론(semantics), 온톨로지(ontology), 에이전트 ID(agent identity) — 가 다른 기업 자산과 마찬가지로 관리되도록 당신의 테넌트(tenant) 내부에 존재하기를 원합니다.

공감을 불러일으킨 또 다른 기조연설 슬라이드는 다음과 같았습니다: "조직은 어디에서 정체되는가?" 이 슬라이드는 AI 성숙도 곡선(AI maturity curve)을 보여주었습니다 — 의도(Intent) → 개념 증명(Proof of Concept, PoC) → 주변부의 프로덕션 AI(Production AI in Periphery) → 핵심 프로세스의 프로덕션 AI(Production AI in Core Processes) → 에이전트형 AI 시스템(Agentic AI Systems). 솔직한 관찰 결과는, 거버넌스(governance), 개발(development), 그리고 인프라 준비성(infrastructure readiness)이 열의를 따라가지 못하기 때문에 대부분의 조직이 PoC와 프로덕션 사이에서 정체된다는 것이었습니다. 모든 차원(이점, 거버넌스, 개발, 인프라, 사용자)이 모두 녹색(정상) 상태가 될 때에만 에이전트형 시스템으로 졸업할 수 있습니다. 내부적으로 정확히 이러한 여정을 겪어본 사람으로서, 저는 이 내용이 불편할 정도로 정확하다고 느꼈습니다.

테마 1: Fabric은 단순한 데이터 플랫폼을 넘어 시맨틱 브레인(Semantic Brain)이 되고 있다

Fabric이 가장 많은 발표 시간을 차지했으며, 포지셔닝이 명확하게 변화했습니다. 이제 더 이상 "통합 데이터 플랫폼"이 아니라, **"AI 전환을 위한 통합 데이터 플랫폼"**입니다. 익숙한 OneLake/Copilot/거버넌스(Governance) 기반 위에 다음과 같은 새로운 요소들이 계층화되었습니다:

• Fabric IQ — Fabric 내의 지능형 계층(intelligence layer)
• 시맨틱 모델(Semantic Models) — 이제 온톨로지(ontologies)로 가는 진입로로 포지셔닝됨
• 온톨로지(Ontology) (공개 미리보기) — 비즈니스가 작동하는 방식에 대한 실시간 통합 모델
• 디지털 트윈 빌더(Digital Twin Builder), 그래프(Graph), 데이터 에이전트(Data Agents), 그리고 운영 에이전트(Operations Agents)

저에게 가장 인상 깊었던 세션은 Fabric IQ – 온톨로지(Ontologies) 세션이었습니다. 핵심 제안은 다음과 같습니다: 비즈니스가 어떻게 작동하는지(엔티티, 관계, 조직 전체의 목표 및 규칙)를 한 번 정의하면, 모든 AI 에이전트가 신뢰할 수 있는 작업을 수행하기 위해 해당 컨텍스트(context)를 갖게 된다는 것입니다. 이미 존재하는 2,000만 개 이상의 시맨틱 모델로부터 온톨로지 생성을 빠르게 시작할 수 있습니다. 온톨로지는 한쪽으로는 테이블/스트림(tables/streams) 및 운영 시스템(operational systems) 사이에 위치하고, 다른 한쪽으로는 AI 에이전트 및 Teams 사이에 위치합니다.

"AI across Fabric workloads" 슬라이드는 이제 모든 워크로드(workload)에 내장된 Copilot 기능을 보여주었습니다. Databases 및 Warehouse에서의 T-SQL 생성, Data Factory에서의 데이터 흐름(dataflow) 생성, Data Engineering에서의 노트북 지원, Real-Time Intelligence에서의 KQL 생성, Power BI에서의 보고서 생성, 그리고 Copilot으로 전달되는 Fabric 데이터 에이전트를 통한 온톨로지(ontology) 액세스가 포함됩니다.

그리고 앵커로서의 OneLake: "OneLake의 엔터프라이즈 인텔리전스에 AI 앵커링(Anchor AI on enterprise intelligence in OneLake)" 슬라이드는 AWS S3, BigQuery, GCP, Snowflake, Oracle, Dat Databricks, Cosmos DB, SQL MI 등 거의 모든 곳으로부터의 단축키(shortcut)/미러링(mirroring) 연결성을 보여주었으며, 이는 M365 Copilot, Fabric, Azure ML, Foundry, Copilot Studio로 이어지는 하나의 호수(one lake)로 통합됩니다.

나의 견해: 우리는 이미 Medallion 아키텍처를 사용하여 Fabric 기반의 글로벌 데이터 레이크(Global Data Lake)를 운영하고 있습니다. 온톨로지(Ontology) 프리뷰는 우리의 데이터 웨어하우스(warehouse)와 에이전트(agent) 사이의 누락된 계층입니다. 모든 에이전트 프롬프트에 스키마(schema) 컨텍스트를 수동으로 입력하는 대신, 온톨로지가 공유된 두뇌(shared brain) 역할을 하게 됩니다.

테마 2: 에이전트가 직무 기술서(Job Descriptions)를 갖게 되다

에이전틱 AI(agentic AI)에 관한 Sandeep Alur의 세션은 그날 가장 개념적으로 유용했습니다. 두 가지 프레임워크가 눈에 띄었습니다.

에이전트 직무 기술서(The Agent Job Description). 모든 에이전트를 공식적인 직무 기술서(JD)를 가진 직원처럼 생각하십시오:

• 무엇을 (What) — 자동화(automations, 워크플로우), 기술(skills)
• 어떻게 (How) — 통합(integrations, MCP), 지침(instructions, SOPs)
• 정체성 (Identity) — 성격(personality), 메모리(memory)

이는 진정으로 훌륭한 사고 모델(mental model)입니다. 에이전트가 제대로 작동하지 않을 때, 여러분은 직원을 코칭하듯 디버깅할 수 있습니다. 문제가 기술(skills)인지, 지침(instructions)인지, 통합(integrations)인지, 아니면 메모리(memory)인지 확인하는 식입니다.

엔터프라이즈 학습 루프 ("Hill Climbing Machine"). 아키텍처는 세 가지 계층으로 쌓여 있습니다:

1. 에이전틱 시스템 (Agentic System) — 메모리(memory), 기술(skills), 트레이스(traces), 워크플로우(workflows), 지식(knowledge), 지침(instructions), 도구(tools), 프라이빗 평가(private evals)
2. 플러그형 모델 계층 (Pluggable Model Layer) — GPT, MAI, Claude, Llama, Gemini, DeepSeek, Mistral (모델은 교체 가능한 범용 상품입니다)
3. 최적화 엔진 (Optimization Engine) — 보상 함수(reward functions)에 의해 구동되는 RLHF, RLE, RFT, 증류(distillation)

모델 자체, 에이전트 시스템, 또는 둘 다를 함께 최적화할 수 있습니다 — 지속적인 언덕 오르기(hill-climbing) 방식입니다. 특히 청중의 질문(그리고 저의 메모)에서는 다음과 같은 내용들이 언급되었습니다: 에이전트가 정말로 _당신_을 대신하여 작동하는지, MAI(Microsoft AI의 사내 모델)가 생태계에 어떤 의미를 가지는지, 그리고 o4-mini와 Microsoft의 노트북 도구링을 확인해 볼 만한 지점들입니다.

Microsoft Foundry는 AI 앱 및 에이전트 팩토리로서 그림을 완성했습니다 — Foundry 허브를 중심으로 한 여섯 개의 축: 오케스트레이션(orchestration), 모델, 지식 및 도구, 관측 가능성 및 에이전트 제어, 미세 조정(fine-tuning) 및 맞춤화, 그리고 로컬 및 엣지 배포입니다.

테마 3: 프론티어 튜닝 — 미세 조정의 성장

한 전용 세션에서는 **프론티어 튜닝(Frontier Tuning)**을

테마 4: 소버린 클라우드 (Sovereign Cloud) — 인터넷 없는 AI

소버린(Sovereignty) 트랙은 놀라울 정도로 내용이 알찼습니다. Microsoft Sovereign Cloud는 이제 세 가지 기둥을 아우릅니다: 소버린 퍼블릭 클라우드 (Sovereign Public Cloud, 내장된 소버린 제어 기능, 지역적 데이터 경계, 국가 내 AI 처리), 소버린 프라이빗 클라우드 (Sovereign Private Cloud, 하이브리드 또는 완전히 분리된 환경에서의 지속적인 운영), 그리고 소버린 파트너 생태계(Sovereign Partner Ecosystem)입니다.

소버린 프라이빗 클라우드 (Sovereign Private Cloud) 슬라이드에서는 Azure Local을 프라이빗 클라우드 인프라로 보여주었습니다. 이는 AI 스위트(Foundry Local — 모델, IQ, 도구, 에이전트), 생산성 스위트(Microsoft 365 Local, GitHub Enterprise Local, Azure Virtual Desktop), 그리고 사용자 고유의 VM/AKS를 실행하며, 이 모든 것은 연결되어 있거나 완전히 분리될 수 있습니다. 이때 Azure Arc는 Azure, AWS, GCP, Oracle, VMware, Nutanix 자산 전반에 걸쳐 일관된 관리를 제공합니다.

가장 압도적이었던 부분은 오프라인 컨테이너 (Offline Containers) 사례 연구였습니다. 이는 인터넷 연결이 전혀 없는 인도 국방부(Indian Defense) 환경에서 성공적으로 실행된 전체 RAG (Retrieval-Augmented Generation) 파이프라인입니다: 문서 분석을 위한 Document Intelligence 컨테이너, 벡터화를 위한 Mistral Small 3.1 + Jina Embeddings 2, 벡터 DB로서의 SQL Server 2025/PostgreSQL, STT/TTS를 위한 Azure Speech 컨테이너, 그리고 생성을 담당하는 Phi-4/Llama-4 컨테이너가 사용되었습니다. 모든 Azure Cognitive Service가 VM 상에서 분리된 Docker 컨테이너로 실행되었습니다.

Mandar Kulkarni의 세션은 이를 국가적 규모의 소버린 클라우드 요구 사항과 연결 지었습니다. 은행, 국방, 정부와 같이 규제를 받는 인도 고객을 대상으로 하는 분들에게 이것은 반드시 주목해야 할 참조 아키텍처 (Reference Architecture)입니다.

테마 5: 실제 고객 사례 — Voice AI, DHS, 그리고 BI 혁신

Kotak Mahindra — 프로덕션 Voice AI (Vijay Narayanan)

가장 기술적으로 상세한 고객 세션이었습니다. Kotak의 Voice AI 아키텍처 (architecture): Genesys가 온프레미스 접점 전화 시스템(PSTN → Genesys → SIP/WebSocket)으로 유지되는 동안, Azure Voice Live + LLM이 실시간 음성 — STT(음성 인식), TTS(음성 합성), VAD(음성 활동 감지), 노이즈 억제(noise suppression), 바지인(barge-in) — 을 처리합니다. 이때 **GPT-4.1-mini가 추론 및 응답 생성(reasoning and response generation)**을 담당하며, Azure AI Search는 지식 베이스에 대한 RAG(검색 증강 생성) 그라운딩(grounding)을 수행하고, 모든 프로세스는 Private Link를 통해 보안이 확보된 Central India 랜딩 존(landing zone)에서 실행됩니다. 통화 후 분석(Post-call analytics)에는 녹음, 전사(transcript), 요약, 감성 분석(sentiment), 컴플라이언스(compliance) 체크가 포함되며, 상담원은 Genesys 확장을 통해 위스퍼(whisper)/전환(transfer)/종료(terminate) 기능을 사용합니다.

이를 **프로덕션급(production-grade)**으로 만드는 방법에 관한 보조 슬라이드에서는 다음과 같은 덜 화려하지만 필수적인 작업들을 다루었습니다: 랜딩 존 확정, 서비스 제한 및 리전 가용성 명확화, 지연 시간(latency) 및 음성 품질 최적화, 인디어(Indic) 언어 PoC(개념 증명), Voice Live 통합에 대한 관찰 가능성(observability), 그리고 Engagely를 통한 벤더 활성화(vendor enablement).

나의 견해: 기존의 접점 시스템(system of engagement)은 유지하면서, SIP/WebSocket + Private Link를 통해 AI 런타임(runtime)을 병렬로 결합하는 이 설계 패턴은 기업용 AI가 어떻게 레트로핏(retrofit, 개조)되어야 하는지를 정확히 보여줍니다. 완전히 갈아엎고 교체(rip-and-replace)할 필요가 없습니다.

C5i — 도메인 하네싱 시스템 (Domain Harnessing System) (Chiranjiv Roy)

C5i는 Fabric + Azure AI Foundry를 기반으로 구축된 5단계 루프(정보 하네싱(Information Harnessing) → 지식 하네싱(Knowledge Harnessing) → 추론 하네싱(Inference Harnessing) → 결과 하네싱(Outcome Harnessing) → 벤치마킹(Benchmarking))인 **DHS (Domain Harnessing System)**를 발표했습니다. 기업 문서가 Fabric 거버넌스를 통해 **지식 그래프(knowledge graph)**로 흐르면, 그래프 + 문서 + 데이터에 걸쳐 하이브리드 시맨틱 검색(hybrid semantic search)이 실행됩니다. AI 모델 오케스트레이션(orchestration)은 가드레일(guardrails)과 평가(evaluations)를 거쳐 적절한 모델로 경로를 지정하며, 에이전트는 인용(citations)이 포함된 답변을 생성하여 Power BI에 도달하게 합니다.

주장된 비즈니스 임팩트는 매우 공격적이었습니다: ₹1.2 Cr 예상 절감액, 31% 비용 최적화, 25% 이상의 정확도 향상, 30–40% 자동화 이득, 70–80% 사이클 타임(cycle-time) 감소, 그리고 22% 토큰 비용 절감. 수동 검색에서 AI 기반 시맨틱 검색(semantic search)으로, 파편화된 지식에서 통합된 지식 그래프(knowledge graph)로, 정적 보고서에서 대화형 인텔리전스(interactive intelligence)로, 며칠에서 몇 분으로 변화하는 이 'From→To' 스토리는 모든 기업 데이터 팀이 들려주고 싶어 하는 바로 그 이야기입니다.

Himalaya Wellness — BI 트랜스포메이션 (BI Transformation)

근거가 확실하고 신선할 정도로 솔직한 세션이었습니다. 이들의 2025년을 위한 "지속적 개선(Continuous Improvement)을 향한 경로"는 다음과 같습니다: 이들은 보고서의 25%가 사용되지 않고 있음을 발견했으며, 중복 보고서도 존재했습니다. 따라서 KPI 및 보고서 합리화(rationalization)를 최우선 과제로 삼았습니다. 그다음으로 BI를 위한 CI/CD 파이프라인(버전 관리, 자동화된 배포, 더 간단한 롤백), 검증 및 알림을 포함한 데이터 품질 표준화, 소유권 매트릭스가 포함된 데이터 카탈로그(data catalog), 교육된 인력(27개 자격증), 그리고 "절약한 돈이 곧 번 돈"이라는 검소한 마인드셋을 가진 데이터 엔지니어링 거버넌스(governance)를 구축했습니다.

이 세션에는 AI에 대한 과장된 홍보(hype)가 없었습니다. 그저 BI 위에 구축된 AI를 실제로 신뢰할 수 있게 만드는, 지루하지만 반드시 필요한 기초 작업뿐이었습니다.

연사별 요약 노트

세션별로 제 메모장에 적은 내용입니다:

Nilesh Khattri (Data Intelligence / Fabric 세션) — 제 Fabric 관련 질문의 대부분을 촉발시킨 세션이었습니다: 왜 Fabric에서 데이터베이스에 직접 쿼리하는 대신 플랫폼을 위한 Microsoft IQ가 필요한지; Fabric에서 MCP 프로토콜을 어떻게 사용하는지; Fabric에 어떤 사전 구축된 모델(pre-built models)이 포함되어 있는지; Fabric 내에서의 Excel 경험; Fabric에서의 Teams 통합; 온톨로지(ontology); 그리고 실시간 인텔리전스(Real-Time Intelligence)에 관한 질문들이었습니다.