NVIDIA Nemotron 3.5 Transcribe 및 Granary v2: 프롬프트하고 적응할 수 있는 지능형 다국어 전사
다국어 전사, 화자 할당(speaker attribution), 번역, 오디오 Q&A를 위한 단일 오픈 모델이며, 최고 리더보드 결과와 이를 적응시키기 위한 오픈 Granary v2 데이터 파이프라인 및 미세 조정 레시피가 제공됩니다.
전사본은 말하는 모든 단어를 포착할 수 있지만, 사용자나 애플리케이션에게 누가 무엇을 말했는지, 어떻게 번역해야 하는지, 또는 도메인별 전문 용어를 어떻게 형식화해야 하는지에 대한 의문을 남길 수 있습니다. 다국어 통화, 빠르게 진행되는 회의, 의료 받아쓰기(medical dictation) 등 각각은 다른 출력을 필요로 합니다: 즉, 번역본, 화자 레이블, 또는 올바르게 철자된 의학 용어입니다.
NVIDIA Nemotron 3.5 Transcribe는 녹음된 음성을 유용한 텍스트로 변환하는 오픈 가중치(open-weight), 프롬프트 가능한 모델이며, 현재 Hugging Face와 ModelScope에서 사용할 수 있습니다. 이 모델은 전사(transcription), 화자 할당(speaker attribution) (화자 분리/diarization), 번역, 오디오 질문 답변 기능을 하나의 체크포인트에 통합했습니다: 40개 언어를 전사하고, 그중 31개 언어를 영어로 또는 영어로부터 번역하며, 13개 언어에서 화자를 할당합니다. 최대 한 시간 길이의 녹음 파일을 처리할 수 있으며 최대 8명의 화자를 레이블링합니다. 개발자는 자연어(natural language)를 사용하여 출력을 안내하고, 오디오가 처리될 위치를 선택하며, 도메인 어휘와 악센트에 맞춰 인식을 적응시킬 수 있습니다.
Transcribe는 영어에 대해 Hugging Face Open ASR Leaderboard에서 오픈 가중치 모델 중 최초로 자리했으며, Artificial Analysis의 정확도-활성 매개변수(accuracy–active-parameter) 최전선에 위치합니다. 화자 할당 측면에서는 David AI의 21개 언어 화자 분리 리더보드에서 가장 낮은 오류율을 기록했고, VoiceArena의 14개 시스템 비교에서 1위를 차지했습니다. 이 모델은 DGX Spark부터 Blackwell 데이터센터 시스템까지 단일 NVIDIA GPU에서 실행됩니다.
Granary v2의 다국어 데이터(Hugging Face 및 ModelScope에서 사용 가능)와 재사용 가능한 큐레이션 파이프라인은 NeMo Speech 파인튜닝 도구와 결합하여, 프롬프트 수준 제어를 학습 단계까지 확장합니다. 개발자는 필요한 서면 형태를 정의하고 애플리케이션에서 마주치는 음성에 모델을 적응시킬 수 있습니다. 한 의료 사례 연구에서는 별도 분리된 화자(held-out speakers)에 대한 파인튜닝을 통해 최고 프롬프트 대비 단어 오류율(Word Error Rate, WER)을 45.8% 감소시키는 성과를 보였습니다.
동일한 체크포인트는 지침에 따라 하나의 회의 녹음 파일을 다양한 출력물로 변환할 수 있습니다:
- “이 녹음을 전사하고 각 화자를 라벨링하세요.”
- “이 오디오를 영어로 번역하세요.”
- “이 회의에서 어떤 결정들이 내려졌나요?”
아래 비디오에서 모델이 실제로 작동하는 것을 경험해 보세요. 이 영상에서는 1940년 작 스크루볼 코미디 영화인 <히즈 걸 프라이데이(His Girl Friday)>의 고전 장면을 다루는데, 이 영화는 빠르고 중첩되는 대화로 유명합니다.
Nemotron 3.5 Transcribe가 <히즈 걸 프라이데이>(1940)의 한 장면을 전사하고 중첩된 대화를 포함하여 화자를 라벨링합니다.
익숙하지 않은 용어는 학습 전에 문맥(context)을 통해 시도해 보세요. 예를 들어, 의료 환경에서는 다음과 같습니다:
원래 언어로 이 의료 토론을 전사하세요. 가능한 용어: HbA1c, metformin. 이러한 용어는 오디오에서 지원되는 경우에만 사용하세요. 표준 의학 철자를 유지하고 숫자는 일반적인 서면 형태로 작성하세요.
모델 카드에는 오디오 질문에 대한 추론(reasoning)을 포함한 추천 프리셋 외에도 전체 프롬프트 가이드와 작업별/언어별 매트릭스가 제공됩니다. 언어 지원은 작업마다 다르며, 오디오 질문 답변은 영어로 학습되었습니다. 단어 단위 타임스탬프도 지원됩니다. 모든 음성 모델과 마찬가지로, 이름, 화자 변경 사항 및 답변에 대해서는 녹음 파일과 대조하여 확인(spot-check)해야 합니다.
실시간 수업부터 지속적인 학습까지. 앱에서 실시간 대화를 지원하는 실시간 음성 및 비디오 플랫폼을 제공하는 Agora는 교실 시연에서 단어별 타임스탬프를 사용했습니다: Nemotron 3.5 Transcribe는 녹화된 강의를 전사본(transcript)으로 변환하여 재생과 함께 표시함으로써 학생들이 무엇이, 언제 말해졌는지 볼 수 있게 합니다. Agora의 블로그에서는 이를 어떻게 구축했는지 자세히 설명합니다.
오픈 웨이트(open-weight) 모델 중에서도 Transcribe는 '무엇이 말해졌는지'에 있어서 선두를 달리고 있으며, '누가 말했는지'에 대한 두 가지 화자 할당(speaker-attribution) 벤치마크에서 독보적인 최고 성능을 기록합니다.
Hugging Face 오픈 ASR 리더보드. 이 리더보드는 공개 테스트 세트를 기반으로 단어 오류율(Word Error Rate, WER)을 측정하며, 세 가지 트랙에서 평가합니다:
영어(English): 오픈 웨이트 모델 중 5.33%의 평균 WER로 최고 기록을 달성했습니다 (그림 1). 다국어(Multilingual): 7개 언어에 걸쳐 4.62%의 평균 WER을 기록하며, 모델 카드 내 Open ASR 비교에서 평가된 오픈 웨이트 모델 중 가장 낮은 수치를 보였습니다. 장문(Long-form): 해당 비교에서도 가장 낮은 10.98%의 평균 WER을 기록했습니다.
그림 1. Nemotron 3.5 Transcribe는 API 모델을 제외한 Hugging Face 오픈 ASR 리더보드(영어)에서 5.33%의 평균 WER로 오픈 웨이트 모델 중 최고 순위를 차지합니다. WER이 낮다는 것은 전사 오류가 적다는 것을 의미합니다.
Artificial Analysis 음성-텍스트 리더보드. Artificial Analysis는 자체 단어 오류율 지표인 AA-WER로 음성-텍스트 모델을 독립적으로 순위 매깁니다. Nemotron 3.5 Transcribe는 약 40억(B) 개의 활성 파라미터를 가진 오픈 웨이트 모델 중 2.8%의 AA-WER로 공동 1위를 차지했으며, 이는 동률인 모델이 240억(B) 개를 가졌을 때의 수치입니다. AA-WER 지표의 50%를 차지하는 비공개 음성 에이전트 음성 세트인 AA-AgentTalk에서 Transcribe는 1.8%의 WER을 기록하여, 그 다음으로 좋은 오픈 웨이트 모델의 2.3%보다 낮은 수치를 보였습니다. Transcribe는 자체 음성 인코더를 하이브리드 Mamba–Transformer Mixture-of-Experts 언어 모델과 결합했기 때문에, 300억(B) 개의 파라미터 중 토큰당 약 40억(B) 개의 파라미터만 활성화됩니다. 이는 Transcribe가 정확도 대 활성 파라미터라는 Artificial Analysis의 오픈 웨이트 파레토 프론티어에 위치하게 합니다. AA의 모든 모델 차트에서, 이 모델은 여러 광범위하게 사용되는 독점 음성 API보다 높은 순위를 차지합니다.
Figure 2. 활성 파라미터의 약 6분의 1 수준에서 선도적인 AA 정확도를 달성했습니다: Nemotron 3.5 Transcribe는 약 4B 개의 활성 파라미터로 2.80%의 AA-WER을 달성합니다.
언어 및 중첩 환경에서의 화자 할당(Speaker attribution). Sortformer 화자 단서가 음향 특징과 함께 언어 모델에 전달되므로, Transcribe는 단순히 나중에 단계에서 화자를 단어에 연결하는 것에 의존하기보다 생성 과정 중에 각 턴을 태그할 수 있습니다.
David AI DAI-ASR-I18N 리더보드. David AI의 DAI-ASR-I18N 통합 전사 및 화자 할당 트랙에서 Transcribe는 평가된 오픈 가중치 모델 중 첫 번째를 차지했으며 전체적으로 두 번째 순위를 기록했습니다. 21개 언어에 걸쳐 누가 언제 말했는지 점수화하는 이 벤치마크의 화자 분리(diarization) 트랙에서는 테스트된 14개 시스템 중 가장 낮은 화자 분리 오류율을 보였으며, NVIDIA 전용 Nemotron 3 Diarization 모델보다 근소하게 앞섰습니다.
Figure 3. David AI의 다국어 화자 분리 리더보드에서 NVIDIA 모델들이 상위 두 자리를 차지했습니다: Nemotron 3.5 Transcribe는 21개 언어에 걸쳐 가장 낮은 전체 화자 분리 오류율(DER)인 18.26%를 기록했으며, Nemotron 3 Diarization이 18.38%로 그 뒤를 이었습니다. DER은 화자-시간 오류를 측정하며, 낮을수록 좋습니다.
VoiceArena 화자 분리 벤치(Diarization-Bench). VoiceArena의 영어 전체 세션 벤치마크에서 Transcribe는 14개 시스템 중 가장 낮은 연결 최소 순열 WER(cpWER)인 14를 기록했으며, 대면 및 온라인 환경 모두에서 첫 번째 순위를 차지했습니다. 또한 삭제된 단어 수가 가장 적습니다: 참조 단어 대비 삭제율은 8.32%로, 중앙값 약 31%와 비교됩니다.
Figure 4. VoiceArena의 14개 시스템 비교에서 NVIDIA 모델들이 상위 두 자리를 차지했습니다: Nemotron 3.5 Transcribe가 32.4% cpWER로 선두를 달렸고, NVIDIA Multitalker Parakeet과 Nemotron 3 Diarization이 34.2%를 기록했습니다. Diarization-Bench v1은 영어 전체 세션, 중첩된 음성 및 2~8명의 화자를 다룹니다. cpWER은 화자 레이블을 매칭한 후의 단어 오류 수를 계산하며, 낮을수록 좋습니다.
추가 평가. Ocular AI의 Converse-STT 평가는 Transcribe를 최고의 오픈 모델로 순위 매겼습니다. Josh Talks의 Voice of India 리더보드는 인도 여러 언어에 걸쳐 Transcribe의 결과를 보고합니다.
엣지부터 데이터 센터까지 구동. Transcribe는 Jetson AGX Thor와 DGX Spark부터 Blackwell 데이터센터 GPU에 이르기까지 단일 NVIDIA GPU에서 실행됩니다. NVFP4 정밀도를 가진 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 하나로, 높은 동시성으로 측정한 30초 클립을 기준으로 100시간 분량의 오디오를 3분도 채 걸리지 않아 처리합니다.
오늘 vLLM으로 체크포인트를 서비스하거나 NeMo-Speech.cpp로 로컬에서 실행할 수 있습니다. Transcribe는 라이브 스트리밍이 아닌 녹음된 오디오를 위해 구축되었습니다.
전문적인 녹음 자료의 경우에도 도메인 어휘 및 전사 관습에 대한 적응이 필요할 수 있습니다. Granary v2와 NeMo Speech 파인튜닝은 Transcribe의 기반 데이터부터 이를 해결합니다.
프롬프트 가능한 음성 모델은 모호하지 않은 형식 지정 목표를 가진 훈련 데이터가 필요합니다. Granary v2는 Hugging Face와 ModelScope의 Nemotron 음성 컬렉션의 일부입니다. NVIDIA NeMo Curator로 구축된 이 재사용 가능한 파이프라인은 Nemotron 3.5 Transcribe의 훈련에 사용되는 다국어 음성을 준비했으며, 정렬된 전사 변형(aligned transcript variants), 작업 레이블(task labels), 검사 가능한 품질 메타데이터를 생성합니다. 공개 매니페스트는 Granary v1의 25개 언어에서 증가한 48개 언어와 16개 소스 코퍼스를 아우르는 463,062시간을 다룹니다. 이 수치는 Transcribe의 전체 훈련 혼합물이나 샘플링 가중치가 아닌 데이터셋 출시를 설명합니다.
Granary v2는 각 녹음 자료에 대해 세 가지 전사 형태(표 1)를 생성하며, 이는 개발자가 프롬프트를 통해 Transcribe에게 요청할 수 있는 구어체 및 깔끔한 스타일과 동일합니다. 전사를 넘어, 이 파이프라인은 짧은 오디오 캡션, 외래어의 코드 스위칭 복원, 음성 기반 Q&A 쌍, 문맥적 ASR 편향 용어(contextual ASR biasing terms), 그리고 자동 품질 점수가 포함된 번역을 생성합니다.
| 학습 목표 | 예시 전사본 |
|---|
| Text-normalized, verbatim | I paid, uh, twenty-five euros. |
| ... | |
| 표 1. 동일한 발화에 대한 Granary v2의 학습 목표. | |
이 파이프라인은 네 가지 재사용 가능한 단계로 구성되어 있습니다:
1. 오디오 준비 (메타데이터): 원본 또는 장편 오디오를 분할하고, 전체 녹음에서 화자를 추적하며, 음향 이벤트와 언어를 태그합니다. Granary v2의 소스는 이미 분할되었기 때문에 이 릴리스에서는 이 단계를 건너뛰었습니다.
2. 전사 (ASR): 각 언어를 주(primary) ASR 모델과 복구(recovery) ASR 모델로 라우팅하며, 주 모델이 환각 확인(hallucination check)에 실패할 경우 대체합니다. 인간 참조 전사본은 신뢰할 수 있는 철자를 보존하는 데 도움을 주는 동시에 구어체 형태와 비유창성(disfluencies)을 추가합니다.
3. 태스크 레이블 생성 (텍스트): 전사본 변형을 도출한 다음, 문자율, 환각 패턴, 모델 또는 인간 참조 일치 여부를 확인합니다. 수락된 기록에만 문맥적 ASR 용어와 번역이 제공됩니다.
4. 고충실도 (HiFi): 노이즈가 심하거나, 잘리거나(clipped), 여러 화자가 포함된 세그먼트는 필터링하고, ASR을 넘어선 사용을 위해 더 작은 규모의 고품질 녹음 세트를 유지합니다. VoxPopuli 데이터셋의 경우, 22개 유럽 언어에 걸쳐 354k시간을 111k시간으로 줄였습니다.
그림 6. 메타데이터, ASR 및 텍스트 단계를 거치며 원본 오디오 샘플 하나를 학습 예시로 보여주는 Granary v2 데이터 큐레이션 파이프라인.
개발자들은 NeMo Curator 파이프라인을 Ray 및 NVIDIA Dynamo 백엔드와 함께 자신들의 녹음 또는 승인된 공개 코퍼스에서 실행하거나, Granary v2의 공개 매니페스트를 기반으로 구축할 수 있습니다. 이 매니페스트에는 tn_raw, itn_raw, itn_clean 세 가지 전사본 형태, 위에서 설명한 레이블, 개체 힌트(entity hints), 도출된 명령어 쌍(derived instruction pairs), 출처 정보(provenance), 그리고 기록별 품질 플래그가 포함됩니다. 소스 오디오는 각 코퍼스의 원래 라이선스에 따라 별도로 다운로드하고, 릴리스에서 발표한 약관을 따르십시오.
개발 세트 프롬프트로 언어, 스크립트 및 전사 형식을 지정하는 것부터 시작합니다. 아래 사례 연구에서 프롬프트에 영어와 라틴 알파벳을 명시하자 전체 벤치마크 WER(Word Error Rate)이 30.8%에서 23.8%로 감소했습니다. 여전히 남아 있는 도메인 오류의 경우, NeMo Speech 파인튜닝 워크플로우는 대표 음성과 명시적인 서면 목표를 쌍으로 연결합니다.
NeMo Speech 의료 ASR 사례 연구는 인도 의사 및 의대생의 녹음 파일을 대상으로 하는 Eka Care의 공개 벤치마크에서 이러한 진행 과정을 보여줍니다. 이 벤치마크에는 3,619개의 클립이 있으며 지정된 학습 분할(training split)은 없습니다. 이 연구는 생성된 의료 텍스트와 공공 의학 카탈로그로부터 적응 데이터를 구축한 다음, 약 153시간의 합성 음성, Common Voice에서 가져온 29시간의 악센트가 있는 영어, 그리고 MultiMed의 의료 녹음 파일 63시간을 결합합니다.
그림 7. Eka Care의 인도 의료 음성 벤치마크 전체 테스트 세트에서, 개선된 프롬프트는 WER을 30.8%에서 23.8%로 낮추고, 파인튜닝은 이를 11.8%까지 낮춥니다. 이는 모델이 처음 상태일 때보다 약 62% 적은 전사 오류입니다. 전체 세트에는 프롬프트와 체크포인트를 선택하는 데 사용된 855개의 튜닝 클립이 포함되어 있으며, 아래의 분리된(held-out) 결과가 더 깨끗한 테스트를 나타냅니다.
합성 생성은 서면 목표를 발화 렌더링으로부터 분리합니다. "HbA1c"가 레이블인 반면, "H B A one C"는 합성기(synthesizer)로 전송됩니다. 여러 TTS 음성은 오디오 범위를 넓히고; 실제 녹음 파일은 악센트와 녹음 조건을 추가합니다. 학습 텍스트는 정확한 일치 항목과 벤치마크 참조와 공유되는 여덟 단어 시퀀스를 위해 필터링됩니다.
