.NET 개발자를 위한 MAI-Voice-2 Flash — Azure Speech를 활용한 실시간 음성

제가 지금까지 구축하거나 검토했던 모든 음성 애플리케이션은 동일한 문제, 즉 지연 시간 (latency) 문제를 가지고 있었습니다. 모델이 아무리 자연스럽게 들리더라도, 사용자가 문장을 마친 시점과 어시스턴트가 응답하는 시점 사이에 1초의 정적이 흐른다면 전체적인 경험이 망가진 것처럼 느껴집니다. 사용자들은 음성 품질을 인지하기 전에 일시 정지를 먼저 알아차립니다.

Microsoft AI는 바로 이 문제를 해결하기 위해 특별히 설계된 텍스트 음성 변환 (text-to-speech) 모델인 MAI-Voice-2 Flash를 출시했습니다. 이는 MAI-Voice-2의 저지연 (low-latency) 버전으로, 현재 Azure Speech를 통해 사용할 수 있습니다. 별도의 SDK나 새로 배워야 할 서비스가 아니라, 여러분이 이미 사용 중일 수도 있는 Speech 서비스 내의 새로운 음성 옵션일 뿐입니다.

같은 날, Microsoft는 고충실도 (high-fidelity) 이미지 생성을 위한 MAI-Image-2.5 Pro도 출시했습니다 (창의적/이미지 파이프라인을 구축 중이시라면 별도의 포스트에서 해당 내용을 다루었습니다). 이 포스트는 음성 모델에 관한 것입니다. 왜냐하면 만약 여러분이 .NET에서 콜센터 에이전트, IVR 시스템, 또는 대화형 어시스턴트를 구축하고 있다면, 이것이 실제로 여러분의 아키텍처를 변화시킬 모델이기 때문입니다.

MAI-Voice-2 Flash가 실제로 하는 일

이 모델은 하나의 특정한 트레이드오프 (tradeoff), 즉 음성 커스터마이징보다 속도에 초점을 맞추어 튜닝된 텍스트 음성 변환 (text-to-speech) 모델입니다.

• MAI-Voice-2보다 2배 빠름, 동일한 자연스러운 음성 품질 유지
• 32% 더 높은 비용 효율성
• 15개 이상의 언어 지원 — 영어 (미국/호주), 이탈리아어, 스페인어 (멕시코/스페인), 힌디어, 프랑스어, 독일어, 포르투갈어 (브라질/포르투갈), 한국어, 중국어 (간체), 터키어, 러시아어, 태국어, 네덜란드어, 루마니아어, 헝가리어
• 5~60초 분량의 오디오 프롬프트를 통한 음성 복제 (Voice cloning) — 적절한 에너지를 가진 자연스럽고 대화적인 전달 방식이 가장 좋은 결과를 제공합니다
• 음성 선택 및 속도 조절을 위한 SSML 지원 — 현재 실제로 작동하는 기능은 아래의 SSML 섹션을 참조하세요

MAI-Voice-2 Flash vs. MAI-Voice-2 — 실제로 어떤 것을 선택해야 할까요?

이에 대한 Microsoft의 가이드는 매우 직설적입니다. 결국 음성 정체성 (voice identity) 대 응답성 (responsiveness)의 문제입니다.

다음과 같은 경우 MAI-Voice-2 Flash를 선택하세요:

• 낮은 지연 시간 (Low latency)이 최우선 요구 사항인 경우
• 대화형 어시스턴트 (conversational assistants), IVR 시스템, 또는 콜센터 경험을 구축하는 경우
• 사용자가 실시간 상호작용의 일부로 즉각적인 음성 응답을 기대하는 경우
• 비용 효율성 (Cost efficiency)이 응답성만큼 중요한 경우

반면, 음성 정체성 (voice identity)과 더 높은 충실도 (higher-fidelity)의 출력이 속도보다 더 중요한 경우에는 MAI-Voice-2를 선택하세요. — 내레이션, 미디어 제작, 또는 실시간 주고받는 대화가 아닌 모든 경우를 생각하면 됩니다.

만약 사용 사례가 전화 통화나 채팅창 반대편에서 사람이 기다리는 상황을 포함한다면, Flash를 선택해야 합니다.

적용 분야 — 실제 사용 사례

Microsoft는 세 가지 시나리오를 언급하며, 이 세 가지 모두 제가 팀들이 지연 시간 때문에 잘못 구축하거나 아예 구축을 피하는 것을 목격한 사례들과 일치합니다:

콜센터 상담원. 대화 차례 사이의 지연을 최소화하여 실시간으로 생성되는 음성 응답입니다. 이는 마치 생각 중인 것처럼 들리는 AI 에이전트와, 시간을 끌고 있는 것처럼 들리는 AI 에이전트 사이의 차이입니다.

대화형 음성 어시스턴트. 거의 즉각적으로 응답하는 Copilot 및 지능형 애플리케이션 — 딱딱한 턴제 방식이 아닌 유연하고 상호작용적인 느낌을 제공합니다.

현대적인 IVR 시스템. 경직된 메뉴 트리로 라우팅하는 대신, 발신자가 실제로 말하는 내용에 반응하는 동적이고 문맥 인식 (context-aware) 가능한 전화 경험입니다.

만약 사전 녹음된 프롬프트와 DTMF 메뉴로 유지되고 있는 레거시 IVR 시스템을 관리하고 있거나, 모든 응답 전에 눈에 띄는 일시 정지가 발생하는 지원 봇을 운영하고 있다면, 이는 파일럿 테스트를 해볼 가치가 있습니다.

가격 책정

MAI-Voice-2 Flash의 가격은 100만 자당 $15부터 시작합니다. 비교를 위해, (함께 발표된 이미지 모델인) MAI-Image-2.5 Pro는 입력 토큰 100만 개당 $5, 출력 토큰 100만 개당 $106부터 시작합니다 — 하나는 이미지를 생성하고 다른 하나는 텍스트로부터 오디오를 생성하기 때문에 완전히 다른 가격 구조를 가집니다.

예를 들어, 하루 10,000건의 통화에서 평균 200자의 응답을 처리하는 콜센터의 경우, 이는 하루 약 200만 자에 해당합니다. 이는 아키텍처를 확정하기 전에 실제로 계산 가능한 비용입니다.

Azure Speech 설정 — 전체 지침

MAI-Voice-2 Flash는 독립적인 엔드포인트(Endpoint)가 아닌 Azure Speech를 통해 제공되므로, 다른 Speech 리소스와 동일하게 설정하면 됩니다. 다음은 아무것도 없는 상태에서 작동하는 API 키를 얻기까지의 전체 과정입니다.

1단계: Azure에서 Speech 리소스 생성하기

1. Azure Portal로 이동합니다.
2. **리소스 만들기 (Create a resource)**를 클릭합니다.
3. Speech service를 검색합니다 (통합된 Foundry 리소스를 원한다면 Azure AI Foundry를 검색해도 되며, 둘 다 작동합니다).
4. **만들기 (Create)**를 클릭합니다.
5. 다음 항목을 입력합니다:
   • 구독 (Subscription) — 사용 중인 Azure 구독
   • 리소스 그룹 (Resource group) — 새로 만들거나 기존 것 사용
   • 지역 (Region) — MAI-Voice-2 Flash를 지원하는 지역을 선택합니다 (모델 카탈로그 페이지에서 현재 지역별 가용성을 확인하세요 — 현재 퍼블릭 프리뷰(Public Preview) 상태이며 지역 지원이 계속 확장되고 있습니다).
   • 이름 (Name) — my-speech-resource와 같은 이름
   • 가격 계층 (Pricing tier) — 프로덕션 사용을 위한 Standard (S0)
6. **검토 + 만들기 (Review + Create)**를 클릭한 다음, **만들기 (Create)**를 클릭합니다.

2단계: 키(Key) 및 지역(Region) 가져오기

1. 배포가 완료되면 Speech 리소스로 이동합니다.
2. 왼쪽 사이드바에서 **키 및 엔드포인트 (Keys and Endpoint)**를 클릭합니다.
3. KEY 1을 복사하고 지역 (Region)(예: eastus)을 기록해 둡니다.

3단계: 비밀 정보(Secrets)를 올바르게 저장하기

키를 코드에 직접 입력(Hardcode)하지 마세요. 로컬 개발 시에는 user-secrets를 사용하세요:

dotnet new console -n MaiVoiceFlashDemo
cd MaiVoiceFlashDemo
dotnet user-secrets init
...

4단계: Speech SDK 설치하기

dotnet add package Microsoft.CognitiveServices.Speech
dotnet add package Microsoft.Extensions.Configuration.UserSecrets

이제 실제로 C#에서 호출해 봅시다

다음은 Azure Speech SDK를 사용하여 음성을 합성하는 작동 가능한 콘솔 앱입니다. 이 앱은 대화형 어시스턴트(conversational assistant)에 실제로 사용할 패턴인 저지연 실시간 출력(low-latency real-time output)에 맞춰 구성되었습니다.

Program.cs — 기본 합성 (Basic Synthesis)

using Microsoft.CognitiveServices.Speech;
using Microsoft.CognitiveServices.Speech.Audio;
using Microsoft.Extensions.Configuration;
...

예상 출력 (Expected Output)

Synthesizing...
Done. Audio played through default speaker.

표준 티어(standard-tier) 음성 모델보다 눈에 띄게 지연 시간이 적은 응답을 들을 수 있을 것입니다. 이것이 바로 "2배 더 빠른"이라는 주장이 단순한 벤치마크 수치가 아닌, 실제 사용자 경험의 차이로 나타나는 지점입니다.

Web API 응답으로 스트리밍하기 (실시간 사용 사례)

실제 콜센터나 어시스턴트 통합의 경우, 오디오를 스피커를 통해 재생하는 것이 아니라 호출자나 브라우저로 바이트(bytes)를 스트리밍하게 됩니다. 다음은 합성된 음성을 스트림(stream)으로 반환하는 ASP.NET Core minimal API 엔드포인트의 패턴입니다.

using Microsoft.CognitiveServices.Speech;
using Microsoft.CognitiveServices.Speech.Audio;

...

다음과 같이 호출하십시오:

curl -X POST https://localhost:5001/speak \
  -H "Content-Type: application/json" \
  -d '{"text":"Your order has shipped and will arrive Thursday."}' \
...

이것이 실제 콜센터 상담원이나 IVR(Interactive Voice Response) 시스템 뒤에 위치하는 엔드포인트의 형태입니다. 텍스트를 입력받아 오디오를 반환하며, 왕복 시간(round trip)을 빠르게 유지합니다.

턴 레벨 제어를 위한 SSML 사용 — 실제로 작동하는 방식
Microsoft의 자체 자료에 따르면 MAI-Voice-2 Flash는 "톤(tone), 전달 방식(delivery), 감정(emotion)에 대한 턴 레벨 제어(turn-level control)"를 지원한다고 설명합니다. 이전에 Azure Speech를 사용해 본 사람이라면 당연히 가장 먼저 시도할 방법은 클래식한 mstts:express-as 요소를 사용하는 것입니다. 이는 표준 신경망(Neural) 음성에서 "이 문장을 밝게 말해줘" 또는 "공감하며 말해줘"라고 요청할 때 사용하는 것과 동일한 방식입니다.

제가 직접 시도해 보았습니다. 작동하지 않습니다.

다음은 기존의 모든 Neural 음성에 작성하던 방식과 동일하게 스타일을 적용하여 제가 처음 시도했던 SSML입니다.

// ⚠️ MAI-VOICE-2-FLASH에서는 작동하지 않습니다 — 제가 네임스페이스 오타를 디버깅하느라
// 허비한 20분을 여러분은 낭비하지 않도록 여기에 남겨둡니다. (문제는 오타가 아니었습니다.)
...

그렇다면 “톤, 전달 방식 및 감정에 대한 턴 단위 제어 (turn-level control over tone, delivery, and emotion)”는 오늘날 실제로 무엇을 의미할까요? 현재 공개 미리보기 (public preview) 단계에서는 불분명합니다. 이는 프롬프트에 포함된 단순 텍스트 전달 큐 (delivery cue)일 수도 있고, 아직 문서화되지 않은 MAI 전용 SSML 확장 기능일 수도 있습니다. 저는 작동하는 조합을 찾을 수 없었으며, Microsoft가 실제 메커니즘을 발표할 때까지 해당 마케팅 문구는 지향점 (aspirational) 정도로 취급할 것입니다.

음성, 속도 및 일시 정지를 위한 SSML 사용

express-as를 완전히 제외하더라도 SSML은 여전히 제 역할을 합니다. 음성 선택, 자연스러운 일시 정지를 위한 휴지 (break), 그리고 운율 (prosody) 제어가 가능하며, 이 모든 기능은 서비스에서 문제없이 수용됩니다:

var ssml = """
    <speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" xml:lang="en-US">
        <voice name="en-US-Olivia:MAI-Voice-2-Flash">
...

감정 태그도, 스타일 속성 (style attribute)도 없습니다. 그저 음성 이름과 사과와 해결책 사이의 의도적인 일시 정지(pause)가 있을 뿐입니다. 그 일시 정지 하나만으로도 응답이 얼마나 “인간적”으로 느껴지는지에 대해 대부분의 개발자가 기대하는 것 이상의 효과를 줍니다. 광고된 것보다는 작은 도구 모음(toolkit)이지만, 취소된 요청 대신 실제로 ResultReason.SynthesizingAudioCompleted를 반환하는 도구 모음입니다.

터키어에서의 동일한 패턴

MAI-Voice-2 Flash의 다국어 지원 덕분에 동일한 SSML 구조가 언어 간에 유지됩니다. xml:lang, 음성 이름, 그리고 텍스트만 변경하면 됩니다:

var ssmlTurkish = """
    <speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" xml:lang="tr-TR">
        <voice name="tr-TR-Elif:MAI-Voice-2-Flash">
...

참고용 번역: "주문하신 상품이 파손되어 도착했다니 유감입니다. 즉시 반품 절차를 시작하겠습니다. 몇 초 정도 걸릴 것입니다."

이것이 콜센터를 위한 다국어 저지연 (low-latency) 음성 모델의 실제 이점입니다. 하나의 코드베이스, 하나의 SpeakSsmlAsync 호출만 있으면 되며, 시장별로 변하는 유일한 요소는 xml:lang, 음성 이름, 그리고 번역된 텍스트뿐입니다. 지역마다 별도의 TTS 통합을 유지 관리할 필요가 없습니다.

📝 참고: MAI-Voice-2 Flash의 음성 이름은 퍼블릭 프리뷰 (public preview) 기간 동안 계속 확정 중입니다. 이를 프로덕션 (production) 환경에 배포하기 전에, 터키어를 포함하여 귀하의 지역에서 사용 가능한 정확한 식별자를 Foundry 모델 카탈로그 또는 Speech Studio의 음성 갤러리에서 확인하십시오.

왜 별도의 벤더가 아닌 Azure Speech를 통해 실행해야 하는가

스택의 어떤 부분에서든 이미 Azure Speech를 사용하고 있다면, 이는 통합 비용이 거의 제로에 가까운 업그레이드입니다:

• 동일한 SDK, 동일한 인증 패턴 — 이미 보유하고 있을 가능성이 높은 패키지 외에 새로운 NuGet 패키지가 필요하지 않습니다.
• 엔터프라이즈급 신뢰성 및 확장성 — Azure Speech가 이미 구동되고 있는 인프라를 그대로 사용합니다.
• Foundry의 나머지 부분과 동일한 책임감 있는 AI (Responsible AI) 및 거버넌스 가드레일
• 지역별 배포 옵션 — 규정 준수가 요구되는 곳에 음성 데이터 처리를 유지할 수 있습니다.

STT (음성-텍스트 변환) 또는 기존 TTS (텍스트-음성 변환) 음성을 위해 이미 Azure Speech에 투자하고 있는 팀의 경우, 지연 시간에 민감한 시나리오를 위해 MAI-Voice-2 Flash로 교체하는 것은 코드 재작성이 아닌 구성 변경(configuration change) 수준입니다.

마치며

MAI-Voice-2 Flash는 좁고 명확한 목표를 가진 릴리스입니다. Microsoft가 제공하는 가장 표현력이 풍부하거나 최고 충실도(high-fidelity)를 가진 음성 모델이 되려는 것이 아닙니다. 그 역할은 MAI-Voice-2의 몫입니다. 이 모델은 실시간 음성 경험을 실제로 망가뜨리는 단 하나의 지표, 즉 "사용자가 말을 멈춘 시점"과 "어시스턴트가 응답을 시작하는 시점" 사이의 간극을 최적화하는 데 집중합니다.

콜센터 에이전트, IVR (대화형 음성 응답) 시스템 또는 대화형 어시스턴트를 구축하거나 유지 관리하고 있으며, 사용자가 응답 전의 일시 정지에 대해 불평한 적이 있다면, 이는 파일럿 테스트를 해볼 가치가 있습니다. 기존 Azure Speech 통합에 연결하고, 음성 이름을 교체한 뒤, 왕복 시간 (round-trip time)을 직접 측정해 보십시오.

귀하의 팀이 이미 Azure Speech를 사용 중이며 벤더를 교체하지 않고 더 빠른 응답만을 원한다면, 이번 주에 바로 연결해 볼 만한 가치가 있는 솔루션입니다. 🙂

리소스

리소스

• Official announcement — Microsoft AI
• Microsoft Foundry Blog — Introducing MAI-Image-2.5 Pro and MAI-Voice-2 Flash
• MAI-Voice-2 Flash Model Card — Azure AI Foundry Catalog
• Azure Speech — Text to Speech How-To Guide
• Microsoft.CognitiveServices.Speech NuGet Package