IBM의 Granite Speech 컬렉션에 대한 세 가지 업데이트를 공유하게 되어 기쁩니다. 새로운 음성-언어 모델인 granite-speech-5.0-2b와 커뮤니티가 이미 사용하고 있는 두 모델, granite-speech-5.0-470m-turboctc 및 granite-speech-4.1-2b-plus의 개정판이 포함됩니다. 이 모델들은 높은 정확도의 전사 및 번역, 엣지(edge)에서의 초고속 전사, 그리고 누가 언제 말했는지('who spoke, and when')가 무엇을 말했는지('what was said')만큼 중요한 녹음까지 포괄합니다.
| Model | Status | What's new | Best for |
|---|
granite-speech-5.0-2b | New | 더 정확하고 노이즈 및 잔향에 강한 자동 음성 인식(ASR), 언어 식별 프롬프팅, 2,000개 용어 키워드 바이어싱, 개선된 장문 번역 | 높은 정확도의 다국어 전사 및 번역 |
granite-speech-5.0-470m-turboctc | Updated | 다국어 지원, 기본 구두점 및 대소문자 처리, 노이즈 및 잔향에 더 강함 | 높은 처리량 및 온디바이스(on-device) 전사 |
granite-speech-4.1-2b-plus | Updated | 개선된 화자 식별(speaker attribution), 타임스탬프, 키워드 바이어싱 및 장문 성능 | 회의, 통화 등 다른 다중 화자 녹음 |
granite-speech-5.0-2b는 동일한 파라미터 수에서 granite-speech-4.1-2b의 후속 모델입니다. 이 모델은 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어를 전사하며 해당 언어들 간에 영어를 포함하여 번역하고, 또한 영어와 이탈리아어 및 만다린(Mandarin) 간에도 번역을 수행합니다. 이는 390,000시간의 공개 오디오 데이터와 일본 ASR, 키워드 바이어싱 및 번역을 위해 구축된 합성 데이터를 기반으로 학습되었습니다.
4.1 2B Speech 대비 새로운 점:
더 정확하고 강력해진 영어 ASR: 영어 단문 벤치마크에서 더 높은 정확도를 보이며, 노이즈, 잔향(reverberation), 원거리 마이크 음성 처리 능력이 향상되었습니다.언어 식별 프롬프팅 (Language ID prompting): 다국어 전사(transcription)를 유도하기 위해 프롬프트에 입력 언어를 명시하십시오.더 나은 장문 및 대화 번역: 짧게 읽는 문장이 아니라, 더 자연스러운 음성으로 인해 번역 결과가 길게 유지됩니다.최대 2,000개 용어의 키워드 목록: 지원되는 모든 언어에서 제품명, 인물, 약어 쪽으로 전사 및 번역에 편향(bias)을 줄 수 있습니다.요청 시 구두점 및 대문자 처리: 프롬프트에 형식화된 출력을 요청하십시오. 테스트 세트 전반에 걸쳐 대문자 처리 F1 점수는 89.7%에서 99.5% 사이입니다.
이 모델은 Apache 2.0 라이선스 하에 배포되며, Transformers, vLLM, llama.cpp, 그리고 Apple Silicon용 mlx-audio를 지원합니다.
차트 1: granite-speech-5.0-2b는 평균 영어 WER(Word Error Rate)에서 상위 오픈 웨이트 ASR 모델 중 2위를 차지했습니다 (5.06%). 숫자가 낮을수록 좋습니다. 이 결과는 2026년 10월 15일 기준의 비공식이며, Open ASR Leaderboard의 공개 영어 단문 테스트 세트를 평균한 값입니다.
지난 8월에 Turbo CTC를 소개했을 때, 이는 속도를 위해 구축된 영어 전용 470M 파라미터 인코더였습니다. 이번 개정판은 그 크기를 유지하면서 사용자들이 가장 많이 요청한 세 가지 기능을 추가했습니다:
다국어 전사: 영어, 일본어, 스페인어, 독일어, 프랑스어, 이탈리아어, 포르투갈어.
네이티브 구두점 및 대문자 처리: 별도의 구두점이나 대소문자 수정(truecasing) 단계 없이 바로 읽을 수 있는 전사본이 나옵니다.
어려운 음향 환경에서의 향상된 강건성 (robustness): 잔향 오디오를 명시적으로 목표로 하는 훈련 덕분에 Turbo CTC는 에코가 심한 방이나 원거리 녹음에서도 더 강력해졌습니다.
또한 속도도 빨라졌습니다. 단일 Conformer 블록을 컴파일하고 그 그래프를 스택 전체에서 재사용함으로써, 워밍업 시간(warmup time)을 줄였고 Turbo CTC의 성능을 Open ASR Leaderboard에서 19,870 RTFx로 끌어올렸습니다. 이는 출시 당시 약 12,600 RTFx 대비 약 1.6배 더 빠른 속도이며, 정확도는 동일한 수준입니다.
차트 2: Open ASR 리더보드에서의 평균 WER 대 RTFx (영어 단문, 9개 공개 테스트 세트, 2026년 10월 기준). WER이 낮고 RTFx가 높을수록 좋습니다. RTFx는 로그 스케일입니다.
업데이트된 granite-speech-4.1-2b-plus
이 모델은 기업들이 실제로 보유한 녹음 파일, 즉 여러 화자가 길게 진행하는 회의, 지원 통화, 인터뷰에 맞춰 조정되었습니다. 아키텍처, 프롬프트 형식, API가 변경되지 않았기 때문에 4.1이라는 이름은 유지하며, 기존 모델을 개선된 가중치로 대체할 수 있는 드롭인(drop-in) 교체품입니다. 이번 개정판은 네 가지 영역에서 개선되었습니다:
화자 식별 (Speaker attribution): 누가 말하는지에 대한 레이블링이 더 정확해졌습니다. 단어 분할 오류율(WDER)이 7% 감소했으며, 화자가 지정된 WER(cpWER)도 전반적으로 7% 감소했습니다.타임스탬프 (Timestamps): 평균 타임스탬프 이동(AAS)이 절반 이상 줄어들어 캡션, 검색 및 검토에서 더 정밀한 타이밍을 제공합니다.장문 음성 성능 (Long-speech performance): 장문 테스트 세트에서의 WER이 24% 감소했습니다.키워드 편향 (Keyword biasing): 20개 용어의 키워드 목록 사용 시, 편향된 키워드에 대한 오류가 45% 감소했습니다.
| 기능 | 지표 | 이전 출시 모델 | 업데이트된 모델 |
|---|
| 타임스탬프, 모든 음성 | AAS (평균 타임스탬프 이동) | 210.86 | 98.54 |
| ... | | | |
| 테이블 1: 모든 지표는 오류율이므로 낮을수록 좋습니다. 더 자세한 결과는 모델 카드(model card)를 참조하십시오. | | | |
어떤 모델을 선택해야 할지 모르겠나요? 여기서 시작하세요:
높은 전사 정확도, 번역 또는 키워드 편향이 필요한가요? granite-speech-5.0-2b를 사용하세요.원시 속도 또는 온디바이스(on-device) 전사가 필요한가요? granite-speech-5.0-470m-turboctc를 사용하고, WebGPU 스트리밍 데모로 브라우저에서 시도해 보세요.회의나 다중 화자 통화 작업이 필요한가요? granite-speech-4.1-2b-plus를 사용하세요.
이 모델들은 모두 Apache 2.0 라이선스 하에 출시되었으며 Transformers에서 네이티브 지원됩니다. 전체 평가 결과, 아키텍처 세부 정보, 학습 데이터 및 사용 예시는 각 모델 카드에 있습니다. 추가적인 위험 감지(risk detection)가 필요한 프로덕션 배포에는 Granite Guardian과 함께 사용하는 것을 권장합니다.
직접 사용해 보시고 의견을 알려주세요!
