Whisper 를 사용하여 기기 내에서 오디오 파일을 전사하는 견고한 CLI 입니다. 🤗 Transformers, Optimum 및 flash-attn 으로 구동됩니다.
TL;DR - OpenAI 의 Whisper Large v3 를 사용하여 150 분 (2.5 시간) 의 오디오를 98 초 미만으로 전사합니다. 이제 번개 같은 속도의 전사가 현실이 되었습니다!⚡️
pipx install insanely-fast-whisper==0.0.15 --force
믿지 못하시나요? 아래는 Nvidia A100 - 80GB 에서 실행한 벤치마크입니다 👇
| 최적화 유형 | 전사 소요 시간 (150 분 오디오) |
|---|
large-v3 (Transformers) (fp32 ) | |
| ~31 (31 분 1 초) | |
large-v3 (Transformers) (fp16 + batching [24] + bettertransformer ) | |
| ~5 (5 분 2 초) | |
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2 ) | |
| ~2 (1 분 38 초) | |
distil-large-v2 (Transformers) (fp16 + batching [24] + bettertransformer ) | |
| ~3 (3 분 16 초) | |
distil-large-v2 (Transformers) (fp16 + batching [24] + Flash Attention 2 ) | |
| ~1 (1 분 18 초) | |
large-v2 (Faster Whisper) (fp16 + beam_size [1] ) | |
| ~9.23 (9 분 23 초) | |
large-v2 (Faster Whisper) (8-bit + beam_size [1] ) | |
| ~8 (8 분 15 초) | |
P.S. 우리는 또한 Google Colab T4 GPU 인스턴스에서도 벤치마크를 실행했습니다!
P.P.S. 이 프로젝트는 원래 Transformers 의 벤치마크를 보여주는 방법으로 시작되었으나, 이후 사람들이 사용할 수 있는 경량 CLI 로 진화했습니다. 이는 순수하게 커뮤니티 주도입니다. 커뮤니티가 강력하게 요구하는 기능을 추가합니다!
우리는 빠른 전사를 가능하게 하는 CLI 를 추가했습니다. 이를 사용하는 방법은 다음과 같습니다:
insanely-fast-whisper 설치
pipx
(pip install pipx
또는 brew install pipx
):
pipx install insanely-fast-whisper
pipx
은 버전을 잘못 해석하여 현재 BetterTransformers
과 더 이상 작동하지 않는 (버전 0.0.8, 현재 버전) 매우 오래된 insanely-fast-whisper 버전을 설치할 수 있습니다. 이 경우 --ignore-requires-python
을 pip
에 전달하여 최신 버전을 설치할 수 있습니다:
pipx install insanely-fast-whisper --force --pip-args="--ignore-requires-python"
pip
으로 설치하는 경우, 다음 인수를 직접 전달할 수 있습니다: pip install insanely-fast-whisper --ignore-requires-python
.
컴퓨터의 어느 경로에서든 추론을 실행합니다:
insanely-fast-whisper --file-name <filename or URL>
참고: macOS 에서 실행하는 경우에도 --device-id mps 플래그를 추가해야 합니다.
🔥 이 CLI 를 통해 Flash Attention 2 와 함께 Whisper-large-v3 도 실행할 수 있습니다:
insanely-fast-whisper --file-name <filename or URL> --flash True
🌟 이 CLI 를 통해 distil-whisper 도 직접 실행할 수 있습니다:
insanely-fast-whisper --model-name distil-whisper/large-v2 --file-name <filename or URL>
insanely-fast-whisper
을 설치하고 싶지 않은 경우 pipx run
만 사용하세요:
pipx run insanely-fast-whisper --file-name <filename or URL>
참고
CLI 는 매우 견고하며 NVIDIA GPU 및 Mac 에서만 작동합니다. 전사 처리량을 최대화할 수 있도록 기본값과 사용할 수 있는 옵션 목록을 확인하세요. insanely-f