Nemotron 3.5 Transcribe 는 전사, 화자 구분, 번역, 오디오 질의응답을 하나의 공개 가중치 모델로 제공하며, 자연어 지시로 출력 형태를 바꿀 수 있음
한국어 포함 40개 언어 전사 를 지원하며, 한국어는 영어와의 양방향 번역과 화자 구분도 가능함. 최대 1시간 녹음과 8명의 화자를 처리하며, 실시간 스트리밍용은 아님
영어 Open ASR 평가에서 공개 가중치 모델 중 평균 WER 5.33%로 1위 를 기록했으며, David AI와 VoiceArena의 화자 구분 평가에서도 최저 오류율을 달성함
Granary v2 는 48개 언어, 463,062시간의 공개 데이터 매니페스트와 재사용 가능한 정제 파이프라인을 제공해 전사 형식과 도메인 어휘에 맞춘 학습을 지원함
의료 음성 사례에서는 미세조정으로 별도 평가 화자의 WER를 22.44%에서 12.17%로 낮췄으며 , 최적 프롬프트 대비 45.8% 상대 개선을 달성했지만 일반 영어 인식 성능은 소폭 하락함
자연어로 제어하는 전사와 오디오 분석
Nemotron 3.5 Transcribe 는 같은 체크포인트에 서로 다른 지시를 내려 전사, 화자 표시, 영어 번역, 회의 결정 사항에 대한 질의응답을 수행함
40개 언어 전사, 31개 언어와 영어 간 양방향 번역, 13개 언어 화자 구분을 지원함
최대 1시간 녹음과 8명의 화자를 처리하고, 단어 단위 타임스탬프 도 제공함
작업별 지원 언어가 다르며, 오디오 질의응답은 영어로 학습됨
낯선 용어에는 학습 전에 문맥 프롬프트 를 적용할 수 있음
의료 대화라면 HbA1c, metformin 같은 후보 용어를 주고, 오디오가 뒷받침할 때만 사용하도록 지시함
원어 유지, 표준 의학 철자, 일반적인 숫자 표기 등 출력 규칙도 지정할 수 있음
모델 카드에는 오디오 질문용 추론 설정을 포함한 권장 프리셋, 프롬프트 안내, 작업별 언어 지원표가 있음
이름, 화자 전환, 질의응답 결과는 원본 녹음과 대조해 표본 검수 해야 함
시연에서는 빠르고 겹치는 대사가 많은 영화 His Girl Friday (1940)의 장면을 전사하고 화자를 표시함
Agora의 교실 데모 는 단어 단위 타임스탬프 를 활용해 녹화 수업 재생 화면 옆에 전사문을 표시하고, 학생이 발언 내용과 시점을 함께 확인하도록 구성함
전사 정확도와 모델 구조
Hugging Face Open ASR Leaderboard 의 영어 평가에서 API 모델을 제외한 공개 가중치 모델 중 평균 단어 오류율(WER) 5.33% 로 1위를 기록함
모델 카드의 Open ASR 비교에서는 7개 언어 평균 WER 4.62%, 장문 음성 평균 WER 10.98%로 각각 평가 대상 공개 가중치 모델 중 가장 낮았음
Artificial Analysis 에서는 AA-WER 2.8%로 공개 가중치 모델 공동 1위를 기록함
활성 파라미터는 약 40억 개로, 동률 모델의 240억 개 대비 약 6분의 1임
지수의 50%를 차지하는 별도 평가용 음성 에이전트 데이터 AA-AgentTalk에서는 WER 1.8%로, 다음으로 높은 성능의 공개 가중치 모델이 기록한 2.3%보다 낮았음
정확도와 활성 파라미터 수의 공개 가중치 모델 파레토 전선에 위치하며, 전체 모델 비교에서도 여러 상용 비공개 음성 API보다 높은 순위를 기록함
음성 인코더에 Mamba–Transformer 혼합 전문가(MoE) 언어 모델 을 결합하며, 전체 300억 파라미터 중 토큰당 약 40억 개만 활성화함
Ocular AI의 Converse-STT 평가에서도 공개 모델 중 1위를 기록했으며, Josh Talks의 Voice of India 에는 인도 언어별 평가 결과가 공개돼 있음
화자 구분과 겹치는 발화 처리
Sortformer의 화자 단서 를 음향 특징과 함께 언어 모델에 전달해 생성 중 각 발화에 화자 정보를 붙임
전사가 끝난 뒤 단어에 화자를 연결하는 후처리에만 의존하지 않음
David AI DAI-ASR-I18N 의 전사와 화자 식별 결합 평가에서는 공개 가중치 모델 중 1위, 전체 2위를 기록함
21개 언어에서 누가 언제 말했는지 평가하는 화자 구분 트랙에서는 14개 시스템 중 최저 화자 구분 오류율(DER)인 18.26% 를 기록함
전용 모델인 Nemotron 3 Diarization 의 18.38%보다 소폭 낮았음
VoiceArena Diarization-Bench 에서는 14개 시스템 중 최저 cpWER인 32.4% 를 기록하고 대면 및 온라인 환경 모두에서 1위를 차지함
영어 전체 세션, 겹치는 발화, 2~8명 화자를 포함한 평가이며, cpWER는 화자 라벨을 대응시킨 뒤 단어 오류를 계산함
NVIDIA Multitalker Parakeet과 Nemotron 3 Diarization 조합이 34.2%로 뒤를 이음
누락 단어 비율도 기준 단어의 8.32%로 가장 낮았으며, 비교 시스템 중앙값은 약 31%였음
처리량, 배포 방식과 제약
공개 예정인 NVFP4 양자화 버전 은 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 1대에서 100시간 분량의 오디오를 3분 이내에 처리함
30초 클립과 높은 동시성 을 사용한 벤치마크 결과임
현재 체크포인트는 vLLM 과 SGLang-Omni 로 자체 호스팅할 수 있으며, 두 도구 모두 출시일부터 지원함
양자화 버전과 로컬 배포 지원은 예정 단계 임
NeMo-Speech.cpp 지원이 양자화 버전과 함께 제공될 예정임
RTX Spark, DGX Spark, Jetson AGX Thor에서 로컬 실행하거나 Blackwell 데이터센터 GPU로 확장하는 구성을 지원할 예정임
모델은 녹음 오디오용 이며 실시간 스트리밍용이 아님
Hugging Face 데모 와 ModelScope Studios 에서 시험할 수 있고, ModelScope 에서도 체크포인트를 받을 수 있음
자체 호스팅 대신 Baseten , DeepInfra , Simplismart의 호스팅 엔드포인트 를 사용할 수 있음
Granary v2의 데이터와 학습 목표
Granary v2 는 NVIDIA NeMo Curator 로 구축한 재사용 가능한 다국어 음성 정제 파이프라인과 데이터 매니페스트를 제공함
Transcribe 학습에 사용한 음성을 정제하고, 서로 대응하는 전사 변형, 작업 라벨, 검토 가능한 품질 메타데이터를 생성함
공개 매니페스트는 48개 언어, 16개 원천 코퍼스, 463,062시간 을 포함하며, Granary v1 의 25개 언어에서 범위가 확대됨
이 수치는 공개 데이터셋의 규모이며, Transcribe의 전체 학습 데이터 구성이나 샘플링 가중치를 뜻하지 않음
각 녹음에 세 가지 전사 형식 을 생성하며, Transcribe에서도 프롬프트로 축어적 전사와 정돈된 전사를 요청할 수 있음
tn_raw
: 숫자를 단어로 풀어 쓰고 머뭇거림을 보존함. 예: I paid, uh, twenty-five euros.
itn_raw
: 숫자와 단위를 일반적인 문자 표기로 바꾸고 머뭇거림을 보존함. 예: I paid, uh, €25.
itn_clean
: 일반적인 문자 표기를 사용하고 머뭇거림을 제거함. 예: I paid €25.
전사 외에도 짧은 오디오 캡션 , 코드 스위칭에서의 차용어 복원, 음성에 근거한 질의응답 쌍, 문맥 기반 ASR 유도 용어, 자동 품질 점수가 붙은 번역을 생성함
공개 매니페스트에는 엔티티 힌트, 파생 지시문 쌍, 출처, 레코드별 품질 플래그도 포함됨
원본 오디오는 각 코퍼스의 원래 라이선스에 따라 별도로 내려받아야 하며, 릴리스의 공개 이용 조건을 따라야 함
ModelScope 에서도 매니페스트를 제공함
재사용 가능한 네 단계 정제 파이프라인
- 오디오 준비(Metadata) : 원본 또는 긴 오디오를 분할하고, 전체 녹음에 걸쳐 화자를 추적하며, 음향 이벤트와 언어를 표시함
Granary v2의 원천 데이터는 이미 분할돼 있어 이번 릴리스에서는 이 단계를 생략함
- 전사(ASR) : 언어별 주 모델과 복구용 모델로 음성을 보내며, 주 모델이 환각 검사를 통과하지 못하면 대체 모델을 사용함
사람이 작성한 기준 전사문을 활용해 신뢰할 수 있는 철자를 보존하면서 발화 형태와 머뭇거림을 추가함
- 작업 라벨 생성(Text) : 전사 변형을 만든 뒤 문자 비율, 환각 패턴, 모델 또는 사람 기준 전사문과의 일치도를 검사함
승인된 레코드에만 문맥 기반 ASR 용어와 번역을 생성함
- 고품질 필터링(HiFi) : 잡음, 잘림, 여러 화자가 포함된 구간을 제거해 ASR 외 용도로도 활용할 수 있는 소규모 고품질 녹음 집합을 만듦
VoxPopuli에서는 유럽 22개 언어의 35만 4,000시간을 11만 1,000시간으로 줄임
개발자는 NeMo Curator 파이프라인 을 Ray와 NVIDIA Dynamo 백엔드 로 실행해 자체 녹음이나 사용 권한이 있는 공개 코퍼스를 처리할 수 있음
의료 도메인 적응: 프롬프트부터 미세조정까지
먼저 개발용 데이터에서 언어, 문자 체계, 전사 형식 을 명시하는 프롬프트를 조정함
의료 ASR 사례 에서는 영어와 라틴 문자를 명시하는 것만으로 전체 벤치마크 WER가 30.8%에서 23.8%로 줄었음
평가는 인도 의사와 의대생의 녹음 3,619개로 구성된 Eka Care 공개 벤치마크 를 사용하며, 이 데이터에는 지정된 학습 분할이 없음
생성한 의료 텍스트와 공개 의약품 목록으로 적응 데이터를 만들고, 약 153시간의 합성 음성, Common Voice의 억양이 있는 영어 29시간, MultiMed 의료 녹음 63시간을 결합함
학습 텍스트에서 벤치마크 기준문과 완전히 일치하거나 8단어 연속 구문을 공유하는 항목을 걸러냄
합성 데이터는 목표 문자 표기와 실제 발음 형태를 분리 함
정답 라벨은 HbA1c
로 두고, 음성 합성기에는 H B A one C
를 전달함
여러 TTS 음색으로 음성 다양성을 늘리고, 실제 녹음으로 억양과 녹음 환경을 보완함
학습 예제는 숫자, 단위 간격, 회사명 확장 표기, 브랜드명 하이픈을 다양하게 구성하고 지시문으로 원하는 규칙을 지정함
일부 용어 목록에는 비슷하지만 틀린 후보를 넣어, 오디오가 뒷받침할 때만 해당 철자 를 사용하도록 학습함
최종 시스템은 고정된 표기 규칙 프롬프트와 한 번의 모델 실행만 사용하며, 검색이나 전사 후처리를 사용하지 않음
음성 인코더와 투영 계층을 학습 하고 언어 모델은 LoRA로 적응시킴
데이터 구성을 달리한 두 번의 학습 후 어댑터를 병합하고, 선택한 체크포인트를 동일 가중치로 평균해 최종 모델을 만듦
체크포인트는 학습 손실만이 아니라 개발 세트의 실제 디코딩 결과로 선택함
텍스트 생성부터 평가까지 전체 과정에 NVIDIA GB300 1대 기준 약 14 GPU시간이 소요됨
별도 화자 평가 결과와 적용 시 주의점
벤치마크를 화자 기준으로 조정용 855개 클립과 별도 평가용 2,764개 클립 으로 나눔
조정용 클립은 프롬프트와 체크포인트 선택에 사용하고, 평가용 클립은 최종 시스템마다 한 번씩 디코딩함
KARMA 평가 파이프라인 기준 별도 평가 화자의 WER는 최적 프롬프트 기준 22.44%에서 미세조정 후 12.17%로 45.8% 상대 감소 함
키워드 WER는 9.2%에서 6.5%, 의미 기반 WER는 10.0%에서 7.6%로 낮아짐
같은 화자와 평가기에서 공개 의료 전문 모델의 13.79%, 널리 쓰이는 범용 ASR 모델의 14.92%보다 낮았음
전체 벤치마크에서는 WER가 기본 30.8%, 개선 프롬프트 23.8%, 미세조정 11.8%로 낮아져 기본 모델 대비 오류가 약 62% 줄었음
다만 전체 결과에는 프롬프트와 체크포인트 선택에 사용한 855개 클립 이 포함되므로, 별도 화자 결과가 일반화 성능을 더 명확히 보여줌
일반 영어 성능에는 소폭 손실 이 있었음
LibriSpeech test-clean WER가 1.54%에서 1.69%로 상승함
약품 브랜드명과 진단명 완전 일치에서는 의료 전문 모델이 여전히 앞섰으며, 다음 단계로 임상의가 브랜드명을 발음한 실제 녹음을 확보할 필요가 있음
자체 도메인에 적용할 때는 체크포인트 선택용으로 실제 라벨링 클립을 최소 100개 확보하고, 일반 음성 성능 유지 여부와 함께 애플리케이션에 중요한 엔티티 유형을 평가할 것을 권장함
NeMo Speech 미세조정 튜토리얼 은 새 언어와 코드 스위칭 ASR을 포함한 학습법, 자원 요구사항, 학습/내보내기/평가 도구를 제공함
미세조정 에이전트 스킬 을 사용하면 코딩 에이전트가 기준 모델 선택, 데이터 점검, 학습 검증, 어댑터 병합, 평가까지 실행할 수 있음
ModelScope의 ms-swift 로도 특화 멀티모달 애플리케이션을 위한 미세조정이 가능함
댓글과 토론