Whistle: 16.9MB 크기의 로컬 음성-텍스트 변환 모델로 클라우드 없이 구현

OpenAI의 가장 작은 Whisper 모델인 tiny는 3,900만 개의 파라미터를 가지며, whisper.cpp의 ggml 형식으로 약 75 MB 크기로 배포됩니다. Whistle의 음성-텍스트 변환 모델은 16.9 MB입니다. 이 크기는 데스크톱 설치 프로그램, 브라우저 확장 기능 또는 Raspberry Pi 이미지 내부에 포함하기에 충분히 작아 사용자가 다운로드를 알아차리지 못할 정도입니다.

이러한 크기가 중요한 이유는 이것이 가능하게 하는 것들 때문입니다. 클라우드 전사(transcription) API로 보내는 모든 음성 메모, 회의 녹음 또는 지원 통화는 사용자 인프라를 벗어납니다. 또한 사용 시간에 따라 비용이 청구됩니다. 몇 메가바이트 크기에 적합하고 CPU에서 실행되는 모델은 이 두 가지 문제를 모두 해결합니다. 여전히 정확도, 지연 시간(latency), 통합을 직접 처리해야 하며, 아래 섹션에서 각각에 대해 다룹니다.

16.9 MB 모델이 아키텍처를 변화시키는 이유

클라우드 음성-텍스트 변환은 특정 아키텍처를 강제합니다. 오디오를 캡처하고, 업로드하고, 기다린 다음, 텍스트를 받습니다. 이러한 흐름은 네트워크 지연 시간, 재시도 로직, API 키 관리 및 법무팀이 검토해야 하는 데이터 처리 계약을 가져옵니다.

로컬 모델은 이러한 요소들을 제거합니다. 아키텍처가 변화하는 세 가지 사례는 다음과 같습니다:

• 연결성이 없는 현장 애플리케이션. 검사 도구, 의료 접수 양식 및 창고 스캐너는 Wi-Fi 연결이 불안정한 곳에서 자주 실행됩니다. 앱에 번들된 모델은 오프라인으로 전사하고 텍스트만 나중에 동기화합니다.
• 규제 데이터. HIPAA 하의 건강 기록이나 GDPR 하의 개인 데이터를 처리하는 경우, 원본 오디오를 장치 내에 보관하는 것이 규정 준수 범위를 줄여줍니다. 가장 민감한 아티팩트를 절대 전송하지 않습니다.
• 대용량, 저가치 오디오. 유료 API를 통해 소규모 음성 명령을 대규모로 전사하는 것은 사용량에 따라 선형적으로 비용이 증가합니다. 로컬 모델은 CPU 사이클만 비용으로 발생시킵니다.

크기는 추론(inference)뿐만 아니라 배포에도 중요합니다. 16.9 MB의 에셋은 모바일 앱 번들 또는 Electron 앱 내부에 포함될 수 있습니다. CI 캐시에 부풀림 없이 Docker 레이어에 들어갑니다. 이를 약 142 MB인 Whisper base 모델이나 기가바이트 단위로 커지는 더 큰 모델과 비교해 보세요.

핵심 요약: 현재 제품이 오디오를 업로드하는 모든 장소를 나열하세요. 각 장소에 대해 '최고의 정확도가 필요한지' 또는 '개인 정보 보호/오프라인/비용 통제가 필요한지'로 표시합니다. 후자의 그룹이 로컬 모델 후보 목록입니다.

오디오 준비하기 (Preparing Audio Correctly)

대부분의 나쁜 로컬 전사(transcription) 결과는 모델의 문제가 아니라 입력 데이터의 문제에서 발생합니다. 소형 음성 모델은 일반적으로 16kHz 모노(mono) 오디오로 학습되며, 브라우저의 MediaRecorder에서 가져온 48kHz 스테레오(stereo) 데이터를 공급하면 결과가 저하되거나 아예 실패할 수 있습니다.

추론(inference) 전에 모든 것을 ffmpeg으로 정규화(Normalize)하세요:

ffmpeg -i input.webm -ar 16000 -ac 1 -c:a pcm_s16le output.wav

이 플래그들은 다음과 같은 작업을 수행합니다:

• -ar 16000: 샘플링 속도를 16kHz로 리샘플링(resamples)합니다.
• -ac 1: 모노로 다운믹스(downmixes)합니다.
• pcm_s16le: 압축되지 않은 16비트 리틀 엔디언 PCM을 작성하며, 이는 대부분의 추론 코드가 직접 읽는 형식입니다.

Whistle의 문서에 명시된 입력 형식을 확인하고 정확히 일치시키세요. 라이브 오디오를 캡처하는 경우, 임시 파일을 작성하기보다는 캡처 파이프라인 내에서 리샘플링을 수행하세요. Web Audio API의 AudioContext는 sampleRate 옵션을 허용합니다. Python 측면에서는 sounddevice가 캡처 시점에 samplerate=16000으로 설정할 수 있게 해줍니다.

소형 모델에 효과적인 두 가지 추가 전처리 단계가 있습니다:

1. 침묵 제거 (Trim silence). webrtcvad Python 패키지와 같은 음성 활동 감지(Voice activity detection) 기능은 공백 시간(dead air)을 잘라냅니다. 오디오 길이가 짧아지면 추론 속도가 빨라지고 조용한 구간에서 환각된 단어(hallucinated words)가 줄어듭니다.
2. 긴 녹음 분할 (Chunk long recordings). 오디오를 침묵 경계 기준으로 몇 초에서 최대 30초 길이의 세그먼트로 나눕니다. 소형 모델은 시간 단위 파일보다 짧고 깨끗한 세그먼트를 훨씬 더 잘 처리합니다.

핵심 요약: 오늘 파이프라인에 모든 입력을 16kHz 모노 PCM으로 변환하는 단일 정규화 함수를 추가하세요. 불일치를 초기에 감지할 수 있도록 입력 형식을 기록(log)해 두세요.

모델을 로컬 서비스로 래핑하기 (Wrapping the Model as a Local Service)

코드베이스의 다섯 군데에서 모델을 직접 호출하지 마세요. 작은 인터페이스 뒤에 한 번 감싸주세요. 이렇게 하면 애플리케이션 코드를 건드리지 않고 나중에 Whistle를 whisper.cpp나 Vosk로 교체할 수 있습니다.

FastAPI를 사용한 최소 Python 패턴은 다음과 같습니다. transcribe_file 부분을 Whistle의 README에서 실제 호출 내용으로 대체하세요:

from fastapi import FastAPI, UploadFile
import tempfile, subprocess

...

uvicorn app:app --host 127.0.0.1 --port 8000 명령어로 실행하세요. 127.0.0.1에 바인딩하는 것이 중요합니다. 이 서비스는 공용 인터페이스를 통해 리스닝하지 않기 때문에 오디오가 기기를 벗어나지 않습니다.

모델은 요청마다 로드하지 말고, 시작 시 한 번만 로드하세요. 작은 모델이라도 로드 시간은 짧지만, 호출할 때마다 반복하면 부하 상태에서 측정 가능한 지연 시간이 추가됩니다.

핵심: 전사(transcription) 기능을 단일 함수나 안정적인 오디오 입력, 텍스트 출력 계약을 가진 로컬 HTTP 엔드포인트 뒤에 배치하세요. 이를 localhost에 바인딩하세요.

커밋하기 전에 정확도 측정하기

작은 모델들은 크기를 위해 정확도를 희생합니다. 이러한 트레이드는 음성 명령이나 대략적인 메모에는 보통 괜찮지만, 법률 전사나 전문 용어가 많은 의학 받아쓰기(dictation)에는 종종 적합하지 않습니다. 어느 쪽에 서 있는지 추측하지 마세요. 측정하세요.

표준 지표는 단어 오류율(Word Error Rate, WER)입니다. Python 패키지 jiwer가 한 줄로 이를 계산합니다:

from jiwer import wer
print(wer(reference_text, model_output))

자신만의 도메인에서 평가 세트를 구축하세요:

1. 악센트, 배경 소음, 도메인 전문 용어를 포함하여 실제 사용을 나타내는 50~100개의 짧은 클립을 수집합니다.
2. 이를 기준 진실(ground truth)로 직접 전사합니다.
3. Whistle, ggml-tiny.bin을 사용하는 whisper.cpp, 그리고 현재 클라우드 제공업체를 동일한 클립에 대해 실행합니다.
4. 실제로 배포할 하드웨어에서 WER과 클립별 지연 시간을 비교합니다.

이러한 비교를 통해 Whisper tiny의 약 4분의 1 크기인 모델이 사용 사례에 충분히 정확한지 알 수 있습니다. 오디오북이나 읽어주는 음성에 대해 실행된 공개 벤치마크는 이를 알려줄 수 없습니다. 사용자들의 오디오만이 알려줄 수 있습니다.

만약 정확도가 특정 경우에만 미달한다면, 하이브리드 접근 방식을 사용하세요. 기본적으로 로컬에서 실행하고, 사용자가 명시적으로 옵트인하거나 신뢰도 임계값(confidence threshold)이 실패할 때만 더 큰 모델이나 클라우드 API로 폴백(fallback)합니다.

핵심 요약: 자체 오디오로 측정된 WER(Word Error Rate) 수치 없이 음성 모델을 출시하지 마세요. 50개의 클립이 담긴 스프레드시트가 어떤 공급업체 벤치마크보다 낫습니다.

지금 바로 제품의 실제 사용 사례에서 녹음한 10개 클립으로 시작하세요. 위 ffmpeg 명령어로 정규화한 다음, Whistle와 whisper.cpp의 tiny 모델을 나란히 실행해 보세요. 한 시간 안에 오디오를 누구의 서버로도 단 하나의 바이트도 보내지 않고 로컬 전사(local transcription)가 앱에 실현 가능한지 알게 될 것입니다.