일본어 회의 녹음, 로컬 Whisper는 어떤 사이즈가 충분할까? Mac에서 6가지 사이즈별 잡음/말소리/용어 힌트 실측 결과

회사 외부로 유출할 수 없는 회의 녹음을 클라우드에 보내지 않고 손안의 Mac으로 전사(transcribe)하고 싶다. 이때 가장 먼저 고민되는 것이 'Whisper의 어떤 사이즈를 사용할 것인가'이다. 작은 모델은 빠르지만 금액이나 회사명을 놓치면 의사록 작성에 쓸 수 없다. 큰 모델은 정확할 것 같지만, 1시간 분량 녹음을 처리하는 데 몇 분을 기다려야 할지 알 수 없다.

이에 OpenAI의 음성 인식 모델 Whisper의 6가지 사이즈(tiny / base / small / medium / large-v3-turbo / large-v3)를 Apple M4 Mac (메모리 16GB)에서 동일한 조건으로 측정했다. 이 글은 그 결과의 요약이다.

측정한 조건

문자 오류율(CER)은 정답 문자 수 대비 '대체・누락・불필요한 문자'의 비율이며, 작을수록 정확하다. 구두점과 공백을 제외하고, 숫자의 표기 방식 차이는 통일한 후 비교했다.

결과

공개 음성 100건(낭독)의 문자 오류율과 처리 시간

| 모델 | 문자 오류율 | 처리 시간 (음성 21.7분) | 1시간 녹음 예상 |
|---|---|
| tiny | 40.0% | 11초 | 약 0.5분 |
| ... | 173초 | 약 8.0분 |
| large-v3 | 4.4% | 359초 | 약 16.5분 |

가상의 회의에서 '놓칠 수 없는 47개 단어'를 정확하게 뽑아낸 개수 (조용한 녹음)

읽을 수 있는 것

• large-v3-turbo는 large-v3와 거의 같은 정확도에, 시간은 약 절반이다. 공개 음성에서 4.6% 대 4.4%, 1시간 녹음 시 약 8분 대 약 16.5분이다. Mac으로 사용할 거라면, 우선 turbo로 충분하다. - medium는 turbo보다 조금 빠를 뿐, 정확도는 확연히 낮다 (6.9%, 중요어 39/47). medium을 선택할 이유는 별로 없었다. - tiny와 base는 의사록 초안 작성에 사용하기 어려웠다. 조용한 녹음에서도 중요어는 각각 8개・21개였다. 같은 단어를 수십 번 반복하는 출력도 나왔다 (tiny의 회의 조건에서는 오류율이 100%를 넘었다). - 잡음보다 '사람 목소리의 중첩'이 문제이다. 연속 잡음(SNR 10dB)에서는 large 계열의 오류율은 거의 변하지 않았지만, 다른 사람 목소리가 겹치자 어떤 사이즈에서도 중요어 누락이 증가했다. - **용어 힌트(**잡음 조건에서 turbo・large-v3와도 47/47까지 올라갔다. 다만 작은 모델에서는 힌트 단어를 계속 반복하는 출력이 나오는 경우가 있었고, 또한 114초 녹음을 한 번에 처리할 경우 힌트 유무로 결과가 변하지 않았다 (힌트가 첫 구간에만 적용되기 때문. 구분 방식을 개선해야 한다).initial_prompt

)는 큰 모델에서는 효과적이다.

사용할 때의 최소 구성

pip install mlx-whisper

import mlx_whisper
result = mlx_whisper.transcribe(

- 회의 음성은 macOS의 읽어주기 기능으로 만든 **합성 음성**입니다. 실제 회의(말 더듬거림, 빠른 말, 먼 마이크, 방언)보다 조건이 좋기 때문에, 실제 오류는 이보다 많을 것입니다. 사람이 읽은 공개 데이터(FLEURS)에서도 측정했지만, 이 역시 회의가 아닌 읽어주기 녹음입니다.
- 발화별로(수 초~십여 초) 잘라서 측정했습니다. 1시간 분량의 녹음을 통째로 재생했을 때의 동작(중간 공백이나 반복 등)은 측정하지 않았습니다.
- 처리 시간은 Apple M4, 메모리 16GB 장치 하나의 값입니다. 화자 구분(누가 말했는지)은 측정하지 않았습니다.
- 정확도가 사용 목적에 충분함을 보장하지 않습니다. 회의록은 반드시 사람이 확인해 주십시오.

## 참고

- OpenAI Whisper (GitHub, MIT License)
- Radford et al., "Robust Speech Recognition via Large-Scale Weak Supervision" (arXiv:2212.04356)
- FLEURS (arXiv:2205.12446, CC-BY 4.0)

6가지 사이즈 × 5가지 조건의 전체 결과표, 실제로 오류가 발생한 사례, 힌트 무한 루프 및 긴 녹음 처리 방법, 용도별 선택 가이드, 본인 녹음으로 동일 비교를 할 수 있는 스크립트, 업무 도입 전 체크리스트는 note 기사에 모아두었습니다: https://note.com/robakara/n/n4948113c505b

### 토론 (Discussion)
![](https://static.zenn.studio/images/drawing/discussion.png)