Embedding Gemma Transcribe
Google의 EmbeddingGemma 2는 임베딩 모델입니다. 저희는 이를 음성-텍스트 변환(speech-to-text) 모델로 만들었습니다:
기본 MacBook Air에서 한 시간 분량의 오디오를 약 13초 만에, 완전히 기기 내에서 처리합니다.
임베딩 모델이 음성을 전사할 수 있을까?
EmbeddingGemma 2는 멀티모달 임베딩 모델입니다: 텍스트, 이미지, 오디오, 비디오가 하나의 공유 공간에 존재합니다. 단어를 소리 내어 말하면 그 오디오가 쓰인 단어 근처에 위치하게 됩니다.
그래서 저희는 이 공간에서 직접 단어를 읽어보았습니다.
작동 방식
- EmbeddingGemma 2의 오디오 인코더(audio encoder)는 그대로 유지됩니다.
- 작은 리더(reader)가 짧은 오디오 조각들을 모델의 텍스트 공간으로 이동시킵니다.
- 약 229,000개의 영어 단어 중 가장 가까운 단어가 선택되고, 이 조각들이 전사본이 됩니다.
- 아주 작은 추가 모델이 구두점과 대문자를 추가합니다.
리더만 학습되었습니다: 공개 라이선스가 적용된 영어 음성 데이터로 8×H100에서 2시간 미만 동안 학습했습니다. 기본 모델은 음성-텍스트 변환을 위해 학습된 적이 없습니다.
속도는 어떨까?
| 모델 | 구동 환경 | Mac | 속도 |
|---|
| Embedding Gemma Transcribe | Neural Engine | 기본 M3 MacBook Air, 8 GB | 288×1시간을 12.6초에 |
| ... | | | |
| × 실시간: 초당 오디오 분량 대비 처리 시간. 행 1–2: 동일한 기본 M3 MacBook Air에서 테스트한 내용. 행 3–5: FluidAudio가 더 크고 새로운 Mac 및 다른 오디오로 발표한 벤치마크 결과. 참고용 가이드이며, 일대일 비교는 아닙니다. | | | |
현재 수준
현재 단어 오류율(word error rate)은 약 5%로, 선도적인 음성 모델의 2–3%에 비해 높은 수치입니다. 저희는 더 잘 학습된 리더가 이 격차를 줄일 수 있다고 믿으며, 이것이 다음 반복 작업(next iteration)이 될 것입니다.
사용 방법
오디오 파일을 드롭하거나, Right Option 키를 누른 상태로 말하고 놓으면 모든 앱에 받아쓰기할 수 있습니다. Mac의 Neural Engine에서 구동되므로, 오디오가 기기를 벗어나지 않습니다.
