오늘 저희는 Rumble-2-Flash를 Apache 2.0 라이선스 하에 오픈 소싱합니다. 이 모델은 40개 이상의 언어를 지원하는 0.5B 파라미터 음성 인식(speech recognition) 모델로, 자체 크기 대비 3~60배 더 큰 모델들과 경쟁할 수 있습니다.
- 어디서든 실행 가능: 🤗 Transformers 및 vLLM에서 네이티브 지원되며, 사용자 지정 코드가 필요하지 않습니다.
- 40개 이상의 언어: 자동 언어 감지(automatic language detection)를 지원합니다.
- 출력 제어: 숫자를 아라비아 숫자 또는 단어로 처리할 수 있으며, 필러(fillers), 구두점 반복(verbatim repeats), 강제 언어 지정 등을 할 수 있습니다.
- 극도로 빠름: 오디오 1시간 분량을 약 반 초 만에 처리하며, 전체 배치에서 7,000개 이상의 RTFx를 달성합니다.
- 실제 통화에서도 성능 유지: 302시간의 콜센터 벤치마크에서 NVIDIA의 Nemotron 3.5 Transcribe (30B)와 동등한 수준을 보여줍니다.
uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
...
audio는 로컬 경로(local path), URL, NumPy 배열 또는 이들의 리스트를 받습니다.
Rumble-2-Flash는 Day-0 지원을 위해 Qwen3-ASR 아키텍처를 사용합니다. 스택이 Transformers 또는 vLLM을 실행한다면, 포크된 런타임(forked runtime)이나 trust_remote_code 없이도 Rumble-2-Flash를 실행할 수 있습니다.
정확도가 떨어지기 전에 모델을 얼마나 작게 만들 수 있는지 알아보기 위해, 저희는 더 큰 프로덕션 모델인 Rumble-2를 On-policy distillation 방식으로 이를 압축했습니다(distilled). 학생 모델은 교사가 작성한 전사본(transcripts)으로 훈련되지 않습니다. 대신 오디오 자체를 전사하고, 교사는 이 전사본을 토큰별로 평가합니다: 모든 위치에서 다음에 와야 할 내용에 대한 자체 확률을 제공하며, 학생 모델은 이에 맞추는 법을 배웁니다. 학생 모델이 자신의 출력으로부터 학습하기 때문에, 클립당 하나의 점수 대신 매 토큰마다 피드백을 받으며 자신이 저지른 실수에 대해 정확하게 교정됩니다.
온-정책 증류(On-policy distillation)는 일반적으로 교사 모델과 학생 모델이 토크나이저를 공유해야 하지만, 저희 모델은 그렇지 않습니다. Qwen3-ASR을 선택하는 것은 그 어휘집(vocabulary)까지 가져오는 것을 의미했습니다. GOLD는 이러한 제약을 제거합니다. 이 기술은 두 토크나이저가 텍스트를 다르게 분할하는 부분을 병합하여, 두 모델 모두 동일한 텍스트로 비교될 수 있게 합니다. 두 어휘집에 존재하는 토큰은 직접 비교하고, 나머지는 정렬된 확률을 통해 비교합니다.
On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers
On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers
Open ASR 리더보드(Leaderboard) 다국어 트랙에서 Rumble-2-Flash는 중국어, 독일어, 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 힌디어, 네덜란드어, 영어 전반에 걸쳐 평균 6.96%의 오류율을 기록했습니다. 이는 모델 크기가 15배 더 큰 Meta의 omniASR-LLM 7B보다 우수하며 Whisper large-v3보다 앞섭니다. 영어 트랙에서는 평균 6.6%의 WER을 달성했습니다.
Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English
Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English
Rumble-2-Flash는 속도 또한 빠릅니다. 처리량(throughput)은 배치가 얼마나 가득 차는지에 따라 달라집니다. HF의 Open ASR 리더보드에 있는 대규모 데이터셋처럼 배치가 항상 가득 찬 환경에서는 7,000 RTFx 이상을 달성합니다. 이는 약 반 초 만에 1시간 분량의 오디오를 처리할 수 있다는 의미입니다.
깨끗한 오디오는 쉽습니다. 전화 통화는 압축되고 잡음이 많으며, 종종 발음(accent)이 매우 다른 화자들이 등장합니다. AppTek의 콜센터 벤치마크(헬프라인 통화 302시간, 영어 억양 14가지, AppTek 자체 스크립트로 채점)에서 Rumble-2-Flash는 7.86%의 WER을 기록하여, NVIDIA의 Nemotron 3.5 Transcribe (30B)의 7.78%와 동등한 수준입니다. 이는 같은 모델 계열에 속하는 Qwen3-ASR 0.6B (8.7%)보다 훨씬 앞서며, 비교 대상 중 유일하게 더 나은 성능을 보인 Qwen3-ASR 1.7B (7.4%)와 근접합니다.
WER on the AppTek call-centre benchmark
WER on the AppTek call-centre benchmark
모델 가중치(weights)는 Hub의 Reson8/Rumble-2-Flash에서 확인할 수 있습니다. 또한 저희 API를 통해서도 이용 가능합니다.
저희는 이 모델로 어떤 것을 만들지 매우 궁금합니다. 토론(Discussions) 탭에 무엇을 만드셨는지, 무엇이 마음에 드는지, 그리고 다음 버전에서 어떤 점이 변경되기를 원하는지 알려주세요.