Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
NVIDIA가 Nemotron-Cascade-2-30B-A3B를 기반으로 한 통합 오디오-텍스트 LLM인 Nemotron-Labs-Audex-30B-A3B를 공개했습니다. 이 모델은 텍스트 추론 능력을 유지하면서 오디오 인코더와 확장된 어휘를 통해 음성 인식, 번역, TTS 등 강력한 오디오 작업 능력을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기서론
우리는 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM(Large Language Model)인 Nemotron-Labs-Audex-30B-A3B를 소개하게 되어 기쁩니다. Nemotron-Cascade-2-30B-A3B는 30B MoE(Mixture-of-Experts) 모델로, 3B의 활성화된 파라미터(activated parameters)를 가진 강력한 텍스트 전용 MoE LLM입니다. Audex-30B-A3B는 음성 및 일반 오디오 출력을 위해 사용되는 이산 오디오 토큰(discrete audio tokens)의 어휘(vocabulary)를 확장했을 뿐만 아니라, 음성 및 일반 오디오 입력을 위한 오디오 인코더(audio encoder)를 포함합니다. Audex-30B-A3B는 텍스트 전용 LLM 백본(backbone)이 가진 매우 매력적인 추론(reasoning), 정렬(alignment), 지식(knowledge), 긴 문맥(long-context), 그리고 에이전트(agentic) 능력을 거의 저하시키지 않으면서도 오디오 작업(오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환(TTS), 오디오 생성, 음성-대-음성 생성)에서 강력한 능력을 발휘합니다. Audex-30B-A3B는 사고(thinking) 모드와 지시(instruct, 비사고) 모드 모두에서 작동합니다.
빠른 시작
Audex-30B-A3B는 ChatML 템플릿을 따르며 사고(thinking) 모드와 지시(instruct, 비사고) 모드를 모두 지원합니다. 추론(Reasoning) 내용은 <think>와 </think> 태그 내에 포함됩니다. 지시(instruct, 비사고) 모드를 활성화하려면 어시스턴트(assistant)의 응답 시작 부분에 <think></think>를 추가합니다.
Audex-30B-A3B는 최대 1M 토큰의 문맥 길이(context length)를 지원합니다.
Audex-30B-A3B는 텍스트 평가 시 Nemotron-Cascade-2를 따릅니다.
Audex-30B-A3B는 아래에 설명된 대로 오디오 관련 작업별로 서로 다른 권장 추론(inference) 설정을 가집니다.
많은 벤치마크(benchmarks)는 모델 카드(Model card)를 확인하세요.
추가 모델:
https://huggingface.co/nvidia/Nemotron-Labs-Audex-2B
제출자: /u/pmttyji
[link] [comments]