통합된 Radeon 890M에서 Parakeet Ultra는 Whisper small보다 32~57% 적은 오류를 기록하며, 10초 분량을 0.11초 만에 전사합니다.
설정 (Setup)
이 노트북은 AMD Ryzen AI 9 HX 370(코어 12개, 스레드 24개)을 탑재하고 있으며, 통합된 Radeon 890M과 Fedora 44를 실행합니다. GPU 구동에는 RADV 드라이버를 통해 Vulkan이 사용됩니다.
오디오 데이터는 FLEURS의 테스트 분할을 사용하며, 언어별로 각 300개의 문장으로 구성되어 있습니다: 영어 49분, 러시아어 57분, 독일어 65분입니다. 모든 파일은 16kHz 모노, 16비트 PCM 형식입니다.
두 엔진이 모델을 구동했습니다: whisper.cpp v1.9.5 (Dabri의 2.4.1 RPM에서 가져온 libwhisper 및 libparakeet)과 Vulkan 및 OpenBLAS로 빌드된 transcribe.cpp v0.4.2입니다. 디코딩은 Greedy 방식으로 진행되었습니다. Whisper에게 언어가 알려주어졌고, Parakeet은 언어를 감지합니다.
WER(Word Error Rate)은 모델이 틀린 단어의 비율이며, 낮을수록 좋습니다. 괄호 안의 범위는 95% 신뢰 구간입니다. 점수 산정을 위해 텍스트는 소문자로 변환되고 구두점은 제거되지만, 그 외에는 아무것도 정규화되지 않으므로 "20"과 "twenty"는 서로 다른 단어로 계산되며, 이로 인해 숫자가 공개 리더보드보다 높게 측정됩니다.
속도(Speed)는 모델 로딩 시간을 제외하고 오디오 초당 연산 초를 의미합니다. 괄호 안의 값은 10초 분량에 대한 시간입니다.
통합 GPU (Integrated GPU)
| Model | Engine | File | English | Russian | German | Speed |
|---|
| Whisper small q5_1 | whisper.cpp | 190 MB | 7.23 (6.3-8.2) | 12.20 (10.9-13.5) | 10.71 (9.7-11.8) | 36x (0.28 s) |
| ... | | | | | | |
Whisper small과 비교했을 때, Parakeet Ultra Q4_K_M은 영어에서 32% 적은 오류를, 러시아어에서는 55% 적은 오류를, 독일어에서는 57% 적은 오류를 기록했으며, 속도는 2.4배 더 빠릅니다.
문장별 비교 (Sentence by sentence)
동일한 300개 문장을 다른 모델과 비교했습니다. 숫자는 WER의 변화량과 그 95% 구간을 나타냅니다. 음수 값은 오류가 적다는 것을 의미합니다. 구간이 0을 가로지르는 경우 측정 가능한 차이가 없음을 의미합니다.
| 비교 항목 | English | Russian | German |
|---|
| Ultra Q8_0 vs v3 q8_0 | -0.36 [-0.69, -0.03] | -0.89 [-1.31, -0.50] | -0.72 [-1.17, -0.30] |
| ... | | | |
| Ultra는 모든 언어에서 v3보다 우수합니다. v3의 q4_k 파일은 q8_0만큼 정확하며 크기는 250 MB 더 작습니다. q4_0 파일은 성능이 떨어집니다. | | | |
러시아어의 경우, GigaAM v3와 Parakeet Ultra Q8_0 모두 5.16점을 기록했으며, 쌍별 차이는 0.00 [-0.73, +0.71]입니다. 두 엔진에서 동일한 v3 가중치를 사용했을 때 영어에서의 차이는 -0.07 [-0.22, +0.06]로, 두 엔진이 일치하는 결과를 보여줍니다.
대형 Whisper 모델 (Large Whisper models)
이 모델들은 이 GPU에서 속도가 느리기 때문에 3문장마다 한 번씩 실행했으며, 언어별로 100회 테스트했습니다. 간격이 더 넓습니다.
| 모델 | 파일 | English | Russian | German | Speed |
|---|
| Whisper large-v3 q5_0 | 1081 MB | 5.37 (4.3-6.5) | 4.19 (3.1-5.4) | 5.31 (3.9-6.9) | 9배 (1.1초) |
| ... | | | | | |
| Parakeet Ultra는 large-v3-turbo의 오차 범위 내에 있으며 속도는 5배 더 빠릅니다. | | | | | |
CPU 전용 (CPU only)
40개의 영어 문장(러시아어는 40개)을 기준으로 한 속도 및 메모리 사용량입니다.
| 모델 | 엔진 | Threads | Speed | Peak memory |
|---|
| Whisper small q5_1 | whisper.cpp | 24 | 7.9배 (1.27초) | 393 MB |
| ... | | | | |
| libparakeet은 기본적으로 4개의 스레드(threads)를 사용합니다. 물리 코어당 하나인 12개 스레드를 사용할 경우, 속도가 두 배로 빨라집니다. 모든 24개 논리 스레드를 사용할 경우, 속도는 원래 수준으로 떨어집니다. q4_k의 경우, 6, 8, 16개의 스레드는 각각 27.7배, 33.1배, 36.1배를 기록했습니다. | | | | |
transcribe.cpp는 모델 파일을 메모리에 매핑(map)하며, 이 매핑 과정이 최대 메모리 사용량에 포함되므로 엔진 간의 메모리 비교는 어렵습니다.
한계점 (Limits)
노트북 1대, 언어 3개. FLEURS는 받아쓰기(dictation)보다 깨끗한 읽기 음성입니다. Parakeet은 25개 유럽 언어를 지원하며, Whisper는 99개를 지원합니다.
Phonon-2.5와 Parakeet Redux는 표에 포함되어 있지 않습니다. 두 모델 모두 Parakeet v3의 압축 버전이며, 자체 Python 런타임(Python runtimes)을 통해서만 실행됩니다.
Dabri에서
Dabri가 카탈로그에 Parakeet v3의 q4_k 파일을 추가했으며, 이제 Parakeet은 물리적 코어당 하나의 스레드를 사용합니다. transcribe.cpp가 두 번째 엔진 라이브러리로 whisper.cpp에 합류하여, 카탈로그에 Parakeet Ultra Q4_K_M을 새로운 모델로 가져왔습니다. Whisper small은 번들 기본값으로 유지됩니다: 이는 486 MB 대비 190 MB이며, 99개 언어를 지원합니다. Ultra는 AVX2가 탑재된 CPU가 필요합니다.
읽어주셔서 감사합니다,
Asher
원래 게시된 곳: ashbuk.dev.