Microsoft의 AI 베팅이 결실을 맺다

원문은 lavkesh.com에서 처음 게시되었습니다.

저는 1월 30일에 발표된 Microsoft의 강력한 2024 회계연도 2분기(Q2 FY2024) 실적 보고서에서 Azure가 전년 대비 28% 성장했다는 점에 놀랐습니다. AI의 기여는 이제 이 성장 이야기의 중요한 부분이 되었으며, Microsoft와 OpenAI의 관계가 투자가 발표되었을 당시 완전히 예상하지 못했던 방식으로 결실을 맺고 있다는 점이 명확해졌습니다.

Azure의 28% 성장은 주목할 만하며, 이 중 약 6포인트가 AI 서비스에서 발생한 것으로 추정됩니다. 이는 2년 전에는 존재하지 않았던 제품 카테고리로부터 나온 놀라운 기여입니다. Azure OpenAI Service가 주요 동력이며, 기업들에게 Microsoft의 데이터 레지던시(Data Residency) 및 컴플라이언스(Compliance) 레이어를 갖춘 GPT-4 및 기타 OpenAI 모델에 대한 관리형 액세스를 제공합니다.

Azure OpenAI를 대규모로 운영한 첫 6개월 동안, 저희는 요청 처리량(Request Throughput)의 하드 한계(Hard Limit)에 부딪혀 프론트엔드(Front-end)를 재설계해야 했습니다. 초기 설계는 최대 20k RPS(초당 요청 수)를 지원하는 단일 Azure Load Balancer를 사용했습니다. Fortune-500 기업 고객이 배치 요약(Batch Summarisation) 작업을 시작했을 때, 지연 시간(Latency)이 150ms에서 1초 이상으로 급증하는 것을 목격했습니다. 해결책은 엔드포인트(Endpoint)를 세 개의 리전(Region)으로 샤딩(Shard)하고 지연 시간 기반 라우팅(Latency-based Routing)을 지원하는 Azure Front Door를 활성화하는 것이었습니다. 이 변경으로 인해 컴퓨팅 비용이 약 12% 추가되었지만, 지연 시간을 다시 200ms 미만으로 낮출 수 있었습니다. 또한 임베딩(Embeddings)을 위한 Redis 캐시를 도입하여 반복적인 벡터 조회(Vector Lookups)를 약 40% 줄였습니다.

Azure 성장의 나머지 22포인트는 AI 사이클 이전부터 Azure가 성장해 오던 광범위한 클라우드 마이그레이션(Cloud Migration) 및 디지털 전환(Digital Transformation) 지출에서 발생했습니다. 이는 Azure의 성장이 여전히 핵심 클라우드 서비스에 의해 주도되고 있음을 시사하지만, 이제 AI가 이 성장의 중요한 기여자가 되었음을 보여줍니다.

Microsoft 365 Copilot은 AI 성장 스토리의 또 다른 핵심 요소로, 사용자당 월 30달러의 추가 요금이 부과되며 광범위하게 채택될 경우 상당한 매출을 추가할 수 있습니다. 2024년 2분기 보고서에 따르면, Copilot 상업용 시트(commercial seats)는 성장하고 있었으나, 4억 명의 Microsoft 365 상업용 사용자 중에서는 여전히 적은 비율을 차지했습니다. 침투율(penetration rate)은 2024년과 2025년에 걸쳐 주목해야 할 핵심 요소가 될 것입니다.

우리가 한 글로벌 컨설팅 기업에 Copilot을 도입했을 때, 도입 팀은 3개월 후 문서 초안 작성에 소요되는 시간이 15% 감소했다고 보고했습니다. 가장 큰 마찰 지점(friction point)은 시트당 30달러의 비용을 기존 Microsoft 365 라이선스 번들(licensing bundles)에 매핑해야 한다는 점이었으며, 이를 위해 Azure AD 그룹 전반의 사용량을 조정하는 커스텀 PowerShell 스크립트가 필요했습니다. 또한, 기밀 고객 데이터가 모델 프롬프트(prompts)에 포함되지 않도록 데이터 손실 방지 (Data Loss Prevention, DLP) 정책을 구성해야 했으며, 이는 보안 팀의 컴플라이언스(compliance) 작업을 몇 주간 추가하는 결과를 초래했습니다.

만약 Microsoft가 상업용 Microsoft 365 사용자의 10%를 30달러 규모의 Copilot 티어(tier)로 전환할 수 있다면, 연간 반복 매출(annual recurring revenue, ARR) 144억 달러를 추가할 수 있습니다. 이를 비교해 보자면, 이는 대략 2020년 Salesforce의 전체 연간 매출 규모와 비슷합니다. 이는 Microsoft에게 매우 중요한 기회이며, 이것이 어떻게 전개될지 지켜보는 것은 흥미로운 일이 될 것입니다.

규제 대상인 금융 서비스 기업에 Copilot Enterprise를 배포할 때는 공개 코드 제안 엔드포인트(public code suggestion endpoint)를 끄고 VNet 뒤에서 모델을 실행해야 했습니다. 우리는 Azure Private Link를 사용하여 서비스를 내부 네트워크에 노출시켰고, Azure AD를 통해 SAML 기반의 단일 로그인 (Single Sign-On, SSO)을 강제했습니다. 시트당 월 20달러의 가격 때문에 CFO는 인원수를 면밀히 주시했습니다. 첫 분기 이후, 팀은 제안된 내용의 30%가 기존 내부 라이브러리와 중복된다는 사실을 발견하고 해당 모듈에 대한 제안 기능을 비활성화하는 정책을 수립했으며, 그 결과 라이선스 수를 10% 줄였습니다.

하지만 Microsoft의 AI 매출은 OpenAI 모델에 상당히 의존하고 있으며, 이는 리스크 요인(risk factor)을 생성합니다. 만약 OpenAI와의 관계가 악화되거나, 경쟁 모델이 기업용 유스케이스(use cases)에서 GPT-4를 실질적으로 능가하게 된다면, Microsoft의 AI 매출 집중도는 리스크 요인이 될 것입니다. Microsoft는 Azure OpenAI에서 Llama 2 및 Mistral을 포함한 여러 모델을 지원함으로써 이러한 리스크를 헤징(hedging)해 왔습니다.

Azure OpenAI 카탈로그에 Llama 2와 Mistral을 추가함으로써, GPT-4의 전체적인 폭을 모두 필요로 하지 않는 워크로드(workloads)에 대해 더 저렴한 대안을 확보할 수 있었습니다. 당사의 내부 벤치마크(benchmark) 결과, 7-B Llama 2 모델은 분류 작업(classification tasks)에서 유사한 정확도를 제공하면서도, GPT-4의 100만 토큰당 2.5 USD 대비 약 0.35 USD의 비용이 들었습니다. 트레이드오프(trade-off)는 더 높은 지연 시간(latency)과 도메인 특화 전문 용어를 위한 모델 미세 조정(fine-tune)의 필요성이었으며, 이는 모델당 약 2주 정도의 개발 오버헤드(overhead)를 추가했습니다. 그럼에도 불구하고, 밤새 실행되는 배치 처리 파이프라인(batch processing pipelines)의 경우, 비용 절감 효과는 추가적인 엔지니어링 노력을 정당화하기에 충분했습니다.

Microsoft Research는 또한 커스텀 Phi 제품군인 소형 언어 모델(small language models)을 개발하고 있으며, 이는 OpenAI 모델에 대한 의존도를 더욱 낮춰줍니다. 하지만 현재로서는 가까운 미래에 핵심적인 상업적 베팅은 OpenAI의 GPT-4급 모델에 머물러 있습니다. 이는 계산된 리스크(calculated risk)이며, 이것이 어떻게 전개될지 지켜보는 것은 흥미로운 일이 될 것입니다.