Vaibhavs10/insanely-fast-whisper
요약
이 기술 기사는 OpenAI의 Whisper 모델을 사용하여 오디오 파일을 극도로 빠르게 전사할 수 있는 CLI 도구인 'insanely-fast-whisper'를 소개합니다. 이 도구는 Transformers, Optimum, 그리고 Flash Attention 2와 같은 최신 AI 가속화 기술들을 결합하여, 기존 대비 압도적으로 빠른 속도를 보여줍니다. 특히 A100 GPU에서 150분 분량의 오디오를 98초 미만으로 전사하는 놀라운 성능을 입증했습니다.
핵심 포인트
- Flash Attention 2와 최적화된 설정을 통해 Whisper-large-v3 모델로 초고속 음성 전사가 가능합니다.
- 벤치마크 결과에 따르면, A100 GPU에서 150분 오디오를 98초 미만으로 처리하는 등 혁신적인 속도를 달성했습니다.
- 이 도구는 `pipx`를 통해 쉽게 설치할 수 있는 견고한 CLI 형태로 제공되어 사용 편의성이 높습니다.
- 사용자는 `--flash True` 플래그 등을 사용하여 최적화된 모델과 기능을 손쉽게 활성화할 수 있습니다.
Whisper 를 사용하여 기기 내에서 오디오 파일을 전사하는 견고한 CLI 입니다. 🤗 Transformers, Optimum 및 flash-attn 으로 구동됩니다.
TL;DR - OpenAI 의 Whisper Large v3 를 사용하여 150 분 (2.5 시간) 의 오디오를 98 초 미만으로 전사합니다. 이제 번개 같은 속도의 전사가 현실이 되었습니다!⚡️
pipx install insanely-fast-whisper==0.0.15 --force
믿지 못하시나요? 아래는 Nvidia A100 - 80GB 에서 실행한 벤치마크입니다 👇
| 최적화 유형 | 전사 소요 시간 (150 분 오디오) |
|---|---|
large-v3 (Transformers) (fp32 ) | |
| ~31 (31 분 1 초) | |
large-v3 (Transformers) (fp16 + batching [24] + bettertransformer ) | |
| ~5 (5 분 2 초) | |
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2 ) | |
| ~2 (1 분 38 초) | |
distil-large-v2 (Transformers) (fp16 + batching [24] + bettertransformer ) | |
| ~3 (3 분 16 초) | |
distil-large-v2 (Transformers) (fp16 + batching [24] + Flash Attention 2 ) | |
| ~1 (1 분 18 초) | |
large-v2 (Faster Whisper) (fp16 + beam_size [1] ) | |
| ~9.23 (9 분 23 초) | |
large-v2 (Faster Whisper) (8-bit + beam_size [1] ) | |
| ~8 (8 분 15 초) |
P.S. 우리는 또한 Google Colab T4 GPU 인스턴스에서도 벤치마크를 실행했습니다!
P.P.S. 이 프로젝트는 원래 Transformers 의 벤치마크를 보여주는 방법으로 시작되었으나, 이후 사람들이 사용할 수 있는 경량 CLI 로 진화했습니다. 이는 순수하게 커뮤니티 주도입니다. 커뮤니티가 강력하게 요구하는 기능을 추가합니다!
우리는 빠른 전사를 가능하게 하는 CLI 를 추가했습니다. 이를 사용하는 방법은 다음과 같습니다:
insanely-fast-whisper 설치
pipx
(pip install pipx
또는 brew install pipx
):
pipx install insanely-fast-whisper
pipx
은 버전을 잘못 해석하여 현재 BetterTransformers
과 더 이상 작동하지 않는 (버전 0.0.8, 현재 버전) 매우 오래된 insanely-fast-whisper 버전을 설치할 수 있습니다. 이 경우 --ignore-requires-python
을 pip
에 전달하여 최신 버전을 설치할 수 있습니다:
pipx install insanely-fast-whisper --force --pip-args="--ignore-requires-python"
pip
으로 설치하는 경우, 다음 인수를 직접 전달할 수 있습니다: pip install insanely-fast-whisper --ignore-requires-python
.
컴퓨터의 어느 경로에서든 추론을 실행합니다:
insanely-fast-whisper --file-name <filename or URL>
참고: macOS 에서 실행하는 경우에도 --device-id mps 플래그를 추가해야 합니다.
🔥 이 CLI 를 통해 Flash Attention 2 와 함께 Whisper-large-v3 도 실행할 수 있습니다:
insanely-fast-whisper --file-name <filename or URL> --flash True
🌟 이 CLI 를 통해 distil-whisper 도 직접 실행할 수 있습니다:
insanely-fast-whisper --model-name distil-whisper/large-v2 --file-name <filename or URL>
insanely-fast-whisper
을 설치하고 싶지 않은 경우 pipx run
만 사용하세요:
pipx run insanely-fast-whisper --file-name <filename or URL>
참고
CLI 는 매우 견고하며 NVIDIA GPU 및 Mac 에서만 작동합니다. 전사 처리량을 최대화할 수 있도록 기본값과 사용할 수 있는 옵션 목록을 확인하세요. insanely-f
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub Trending Jupyter Notebook (weekly)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기