Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
NVIDIA Nemotron 3.5 Transcribe는 녹음 파일을 텍스트로 변환하는 오픈 웨이트 오프라인 음성 AI 모델입니다. 이 모델은 전사, 번역, 화자 지정 등 40개 언어를 지원하며 최대 1시간 분량의 오디오를 처리할 수 있습니다. 다만 실시간 스트리밍이 아닌 오프라인 방식으로 작동합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hacker Noon AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기NVIDIA Nemotron 3.5 Transcribe 30B A4B는 녹음 파일과 텍스트 지침을 텍스트로 변환하는 오픈 웨이트(open-weight), 오프라인 음성 및 오디오 모델입니다. 이 모델은 40개 언어에 걸쳐 전사(transcription), 번역, 화자 지정 및 문맥적 전사, 타임스탬프, 언어 식별, 그리고 오디오 질의응답 기능을 지원합니다. 본 모델은 nvidia에서 유지 관리하고 있습니다.
이 모델은 실시간 스트리밍 ASR(Automatic Speech Recognition) 서비스가 아닌 오프라인 모델입니다. 내부 오디오 청킹(audio chunking) 방식이 이를 변경하지는 않습니다. 명시된 1-H100 80 GB 배포 요구 사항은 상당합니다. 공개된 벤치마크 수치는 선택된 데이터셋 및 작업에 대해 보고되었으므로, 모든 언어, 도메인 또는 녹음 조건에서의 성능을 보장하는 것은 아닙니다.
제공된 결과는 영어 ASR의 평균 WER(Word Error Rate) 4.71, 장문 ASR의 경우 10.98, 다국어 ASR의 경우 4.62를 보고하며, 나열된 벤치마크 세트에서 각각 다음으로 좋은 오픈 웨이트 모델로 Qwen3-ASR-1.7B와 Parakeet-TDT-0.6B-v3를 식별했습니다. 이는 다른 워크로드에 대한 보장이 아닌, 벤치마크 특정 보고 비교입니다. 관련 Nemotron Speech Streaming English 0.6B 모델은 이 오프라인 모델과 달리 스트리밍을 지원하는 것으로 설명됩니다. 제공된 Nemotron 3.5 ASR Streaming 0.6B 목록에는 내부 평가 중이라고 명시되어 있어, 기능 비교를 위한 충분한 공개 세부 정보가 여기에는 없습니다. FP8 및 NVFP4는 이 Transcribe 체크포인트의 정밀도 변형이며, 별도의 작업 설명이 아닙니다.
이 체크포인트는 총 34B의 파라미터를 가지며, 오디오 인코더를 포함하여 활성 파라미터는 약 4.3B입니다. 아키텍처는 트랜스포머(Transformer) ASR 인코더와 스피커 인코더로 구성된 병렬 전문가 인코더(Parallel Expert Encoder)를 갖춘 Mamba-2–트랜스포머 하이브리드 Mixture-of-Experts (MoE) 언어 모델입니다. 이 정확한 체크포인트는 BF16 기준이며, FP8 및 NVFP4 변형도 나열되어 있습니다. 컨텍스트 길이는 65,536 토큰이고, 지원되는 녹음 시간은 최대 1시간입니다. README에는 배포 구성으로 H100 80 GB가 제시되어 있습니다. 네이티브 Multi-Token Prediction을 지원하며, 선택적으로 DFlash2 draft 모델을 사용할 수 있습니다. 추론(Reasoning) 기능은 채팅 템플릿을 통해 활성화 또는 비활성화할 수 있습니다. 전사(transcription), 번역 및 언어 식별의 경우 권장 설정은 온도(temperature) 0 및 추론 비활성화입니다. 오디오 이해의 경우, 온도 0.6, top_p 0.95, 그리고 추론 활성화를 권장합니다. 명시된 라이선스는 OpenMDW-1.1입니다. README에는 RTX PRO 6000 Blackwell Server Edition GPU 하나에서 최적화된 NIM 서빙 측정값이 보고되어 있지만, 이러한 최적화는 오픈 소스 릴리스의 일부가 아니므로 이 체크포인트의 표준 오픈 소스 서빙 환경에 대한 성능 측정치로 간주해서는 안 됩니다.
텍스트 지침과 선택적 컨텍스트와 함께 오디오 녹음을 수락합니다. README의 서빙 예제는 WAV 오디오를 base64 데이터 URL로 전송하며, 트랜스포머 예제는 오디오 샘플 URL을 사용합니다. 지침은 언어, 전문(verbatim) 또는 정제된 단어, 형식 지정, 컨텍스트 용어, 번역 대상, 화자 태그 또는 오디오 질문을 지정할 수 있습니다. 단어 타임스탬프를 요청할 수 있으며, README는 vLLM 단어 타임스탬프가 V1 모델 러너를 필요로 함을 언급합니다.
음성 관련 텍스트, 녹취록(transcripts), 번역, 언어 식별 응답 또는 답변을 생성합니다. 녹취에는 구두점과 대문자가 포함될 수 있으며, 필러나 반복은 보존하거나 생략할 수 있고, 화자 태그를 포함할 수 있습니다. 단어 타임스탬프는 선택 사항입니다. 제공된 자료는 단일 고정 출력 스키마(output schema)를 지정하지 않습니다.
README에는 vLLM 0.32.0과 최신 NeMo Speech 메인 브랜치를 사용하여 H100 80 GB 하나에 대한 vLLM 서빙 예시가 제공됩니다. 해당 종속성을 설치하고 체크포인트(checkpoint)를 얻은 후, 최소한의 요청은 다음과 같습니다:
import base64
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
...
Q: 이 모델은 실시간 스트리밍(real-time streaming)을 지원하나요?
A: 아니요. README에는 이 모델이 오프라인(offline) 모델로 설명되어 있으며, 내부 오디오 청킹(audio chunking)만으로는 실시간 스트리밍 ASR 서비스가 될 수 없다고 명시하고 있습니다.
Q: 오디오 녹음은 얼마나 길 수 있나요?
A: 모델 요약에 따르면 최대 한 시간까지 녹음 지원이 가능하며, 컨텍스트 길이(context length)는 65,536 토큰입니다.
Q: 어떤 언어를 지원하나요?
A: README에는 이 모델이 40개 언어를 지원한다고 명시되어 있습니다. 독자들에게 언어 지원 매트릭스(language support matrix)를 참조하도록 안내하지만, 제공된 발췌문에는 해당 매트릭스가 포함되어 있지 않습니다.
Q: 녹취 스타일을 제어할 수 있나요?
A: 예. 지침을 통해 전문(verbatim) 문구 또는 필러와 우발적인 반복이 생략된 가독성 있는 텍스트를 요청할 수 있으며, 구두점, 대문자 및 컨텍스트 용어를 지정할 수 있습니다.
Q: 화자를 식별하고 타임스탬프를 제공할 수 있나요?
A: 화자 할당 녹취록(Speaker-attributed transcription)과 선택적 단어 타임스탬프가 지원됩니다. README에는 vLLM 단어 타임스탬프를 사용하려면 V1 모델 러너(model runner)가 필요하다고 언급되어 있습니다.
Q: README에 명시된 배포 하드웨어는 무엇인가요?
A: 이 체크포인트의 배포 구성으로 H100 80 GB 하나를 제시합니다. 제공된 자료는 이것이 유일한 가능한 하드웨어 설정임을 확립하지 않습니다.
Q: 이 체크포인트의 정밀도는 무엇인가요?
A: 이 모델 목록은 BF16 참조 체크포인트입니다. FP8 및 NVFP4 변형 버전 또한 별도의 모델 버전으로 이용 가능합니다.