Vercel은 ElevenLabs와 파트너십을 맺고 14개의 ElevenLabs 모델을 AI Gateway에 제공합니다. 출시를 기념하여, 모든 ElevenLabs 모델이 11월 9일까지 처음 14일 동안 AI Gateway에서 50% 할인됩니다.ElevenLabsAI Gateway
AI Gateway는 여섯 가지 유형의 ElevenLabs 오디오 모델을 지원합니다:
이 모든 오디오 모델은 단일 게이트웨이 API 키를 통해 접근할 수 있습니다. 사용자가 말하는 내용을 전사(transcribe)하고, 선택 가능한 수백 개의 모델로 추론한 다음, ElevenLabs 음성으로 답변을 제공하는 앱이나 에이전트를 구축할 수 있습니다. 또한 생성된 음악과 사운드 효과로 사운드트랙을 만들 수도 있습니다.
모든 요청은 다른 AI Gateway 트래픽과 동일한 사용량, 비용 및 추적(trace) 보기 내에 기록됩니다.
AI Gateway는 음성-텍스트 변환(speech to text), 실시간 음성(realtime voice), 그리고 음악에 걸친 14개의 ElevenLabs 모델에 대한 접근을 제공합니다.
사용자가 말하는 동안 그 음성을 텍스트로 변환합니다. 이후 선택한 언어 모델이 답변을 작성하고, 저지연(low-latency) ElevenLabs 음성 모델이 이 답변을 스트리밍되는 대로 소리 내어 읽어주기 때문에, 사용자는 모델이 작성을 완료하기 전에 응답이 시작되는 것을 들을 수 있습니다.Scribe v2 RealtimeEleven Flash v2.5
각 단계가 자체 모델이기 때문에, 파이프라인의 나머지 부분을 건드리지 않고도 전사(transcription), 언어, 또는 음성 모델을 교체할 수 있습니다.
아래 예시에서 사용자가 환승 항공편을 이용할 수 있는지 묻습니다. 텍스트 모델이 항공편 상태와 게이트 거리를 결합하여 답변하고, 이후 음성 모델이 응답을 전달합니다.
그리고 전체 대화 내용을 하나의 모델에서 처리할 수 있어, 지원 콜이나 인앱 어시스턴트처럼 사용자가 자연스러운 주고받음을 기대하는 대화에 적합합니다. 두 모델 모두 사용자 오디오를 입력받아 단일 WebSocket 세션으로 응답을 말해주기 때문에 별도의 전사(transcription) 또는 음성 단계가 필요 없습니다.Eleven Realtime v1 MaxEleven Realtime v1 Mini
Eleven Realtime은 “제 주문 배송 주소를 변경할 수 있나요?”라는 말을 듣고 하나의 WebSocket 세션을 통해 “도와드릴 수 있습니다. 주문 번호가 어떻게 되시나요?”라고 응답합니다.
브라우저에서는 ai-sdk/react의 훅을 사용하여 WebSocket 연결, 마이크 캡처 및 오디오 재생을 처리합니다. 이 훅의 sessionConfig에서 ElevenLabs 음성 ID와 server-vad를 설정합니다. 이 모델들은 사용자가 말을 마쳤는지 판단하기 위해 의미론적 음성 활동 감지(semantic voice activity detection (VAD))를 지원하지만, microphone-vad는 지원하지 않습니다. 전체 브라우저 설정 과정은 다음과 같습니다: useRealtime @ai-sdk/react sessionConfig turnDetection: { type: 'semantic-vad' } server-vad 실시간 가이드
그리고 텍스트 설명으로부터 오리지널 음악을 작곡합니다. 장르, 분위기 또는 원하는 악기를 지정하면 모델이 보컬 유무와 관계없이 요청한 길이의 완성된 트랙을 반환합니다. 더 많은 제어를 원한다면 노래를 섹션별로 구성하고 각 섹션에 고유한 스타일과 길이를 부여할 수 있습니다.Music v2.5Music v2
게임 레벨 아래에서 반복되는 발자국 소리, 문 닫는 소리 또는 비와 같은 더 짧은 사운드에도 동일하게 작동합니다.Sound Effects v2
세 모델 모두 말로 읽을 단어 대신 원하는 사운드를 설명하는 방식으로 generateSpeech를 사용합니다. 이 예시는 30초 트랙을 요청합니다:generateSpeech``text
또한 여러 스피커를 포함하는 대본을 단일 요청으로 처리할 수 있습니다. 각 라인에 목소리를 할당하고, 음성 변화가 발생할 때마다 새로운 턴이 시작됩니다. 두 명의 진행자가 참여하는 팟캐스트나 전체 출연진이 등장하는 장면도 하나의 연속적인 녹음 파일로 완성되므로, 따로 편집해야 할 클립이 없습니다.Eleven v4Eleven v4 TurboEleven v3
AI Gateway는 모델 호출, 사용량 및 비용 추적, 그리고 제공업체 대비 높은 가동 시간을 위한 재시도(retries), 장애 조치(failover) 및 성능 최적화 구성에 대한 통합 API를 제공합니다. 여기에는 내장된 기능들custom reportingZero Data Retention 지원API 키 예산 설정라우팅 규칙 등이 포함되어 있습니다.
AI Gateway는 마크업(markup) 없이 제공업체의 가격을 반영하며, (BYOK) 요청을 포함하여 추론(inference)에 대한 플랫폼 수수료를 부과하지 않습니다.Bring Your Own Key
ElevenLabs 모델 전반에 걸쳐 예제들을 제공합니다. AI Gateway에서 둘러보고, 11월 9일까지 ElevenLabs를 50% 할인된 가격으로 사용해 보세요.AI Gateway 오디오 문서모든 오디오 모델
더 읽어보기
-
녹음된 파일을 전사하거나 사람들이 말하는 실시간 오디오에 자막을 추가합니다. Speech to text:
-
언어 모델이 답변을 작성하는 동안 오디오 재생을 시작하여 사용자가 전체 답변을 기다릴 필요가 없습니다. Streaming text to speech:
-
사용자가 앱과 대화하고 그 응답을 하나의 실시간 세션에서 음성으로 듣게 할 수 있습니다. 지원 라인, 튜터, 인앱 어시스턴트 등에 유용합니다. Realtime voice agents:
-
일반 텍스트로 트랙을 설명하고 필요한 길이의 완성된 노래나 기악곡을 얻습니다. Music:
-
짧은 설명을 통해 게임 및 인터페이스 사운드 또는 깨끗하게 반복되는 분위기(ambience)를 생성합니다. Sound effects:
-
한 통의 통화에서 각 화자마다 다른 목소리로 전체 대화를 구현합니다. Multi-voice dialogue:
Model types
Speech and transcription
Realtime voice agents
Music and sound effects
Multi-voice dialogue
About AI Gateway