TheWhisper: 고성능 Speech-to-Text

Hugging Face

NVIDIA

Apple Silicon

🚀 개요 (Overview)

본 레포지토리는 자체 호스팅(self-hosting), 클라우드 호스팅, 그리고 다양한 장치에서의 온디바이스 추론(on-device inference)에 중점을 두고 가장 효율적인 speech-to-text 및 text-to-speech 추론 솔루션을 공유하고 개발하는 것을 목표로 합니다.

이번 첫 번째 릴리스에서 본 레포지토리는 **오픈 소스 전사 모델(open-source transcription models)**과 스트리밍 추론 지원을 제공하며 다음 기능을 포함합니다:

• 유연한 청크 크기(원본 모델은 30초)를 가진 whisper 모델의 Hugging Face 오픈 가중치(open weights)
• 고성능 TheStage AI 추론 엔진 (NVIDIA GPU): L40s에서 whisper-large-v3 모델 기준 초당 220 토큰(tok/s)
• macOS / Apple Silicon용 CoreML 엔진: MacOS에서 세계 최저 전력 소비를 구현
• JS 및 Electron을 사용한 프런트엔드 예제를 갖춘 로컬 RestAPI 자세히 보기
• TheStage AI가 구축한 Electron 데모 앱 (Apple 인증): macOS용 TheNotes
• Electron과 TheWhisper를 사용하여 macOS용 로컬 메모 앱을 구축하는 방법 튜토리얼

본 솔루션은 낮은 지연 시간(low-latency), 낮은 전력 사용량(low power usage), 그리고 확장 가능한(scalable) 스트리밍 전사 처리에 최적화되어 있습니다. 실시간 캡셔닝, 라이브 미팅, 음성 인터페이스 및 엣지 배포에 이상적입니다.

📖 목차

• ✨ 기능 (Features)
• ⚡ 빠른 시작 (Quick Start)
• [🛠️ 지원 매트릭스 및 시스템 요구 사항 (#%EF%B8%8F-support-matrix-and-system-requirements)#]
• [💡 사용법 및 배포 (#%EF%B8%8F-usage-and-deployment#)]
• [🖥️ Apple용 온디바이스 데스크톱 애플리케이션 빌드 (#-build-on-device-desktop-application-for-apple#)]
• 📊 벤치마크 (Benchmarks)
• [🏢 엔터프라이즈 라이선스 요약 (#-enterprise-license-summary#)]
• 🧭 개발 현황 (Development Status)
• 📝 변경 로그 (Changelog)
• 🙌 감사 인사 (Acknowledgements)

✨ 기능 (Features)

• Whisper 모델의 오픈 웨이트 파인튜닝 버전 제공
• 파인튜닝된 모델은 10초, 15초, 20초 및 30초 분량의 추론(inference)을 지원함
• macOS 및 Apple Silicon용 CoreML 엔진 탑재. 전력 소비 약 2W, RAM 사용량 약 2GB.
• TheStage AI를 통해 NVIDIA GPU에 최적화된 엔진 제공 ElasticModels (소규모 조직 무료)
• 스트리밍 구현 지원 (NVIDIA + macOS)
• 벤치마크 항목: 지연 시간(latency), 메모리, 전력, ASR 정확도 (OpenASR)
• 간단한 Python API와 Electron 및 ReactJS를 사용한 MacOS 데스크톱 앱 배포 예제 및 튜토리얼 제공

<img width=

저장소 복제(Clone the repository)

git clone https://github.com/TheStageAI/TheWhisper.git
cd TheWhisper

Apple용 설치(Install for Apple)

pip install .[apple]

Nvidia용 설치(Install for Nvidia)

pip install .[nvidia]

TheStage AI 최적화 엔진을 사용한 Nvidia용 설치(Install for Nvidia with TheStage AI optmized engines)

pip install 'thestage-elastic-models[nvidia]==0.2.4.post0' --index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-production/simple --extra-index-url https://pypi.nvidia.com --extra-index-url https://pypi.org/simple
pip install .[nvidia]
pip install thestage

TheStage AI 최적화 엔진을 사용한 Jetson-Thor용 설치(Install for Jetson-Thor with TheStage AI optmized engines)

Jetson에 tensorrt==10.13.3.9가 설치되어 있는지 확인하고 다음 명령어를 실행하세요:

pip install thestage-elastic-models[thor]==0.2.4.post0 --extra-index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-jetson-thor/simple -i https://pypi.jetson-ai-lab.io/sbsa/cu130/+simple/ --extra-index-url https://pypi.org
pip install .
pip install thestage

이후 TheStage AI Platform에서 프로필을 통해 액세스 토큰(access token)을 생성하고 다음 명령어를 실행하세요:

thestage config set -t <YOUR_API_TOKEN>

🏗️ 지원 매트릭스와 시스템 요구 사항(Support Matrix and System Requirements)

Nvidia GPU 요구 사항(Nvidia GPU Requirements)

• 지원하는 GPU: RTX 4090, RTX 5090, L40s, H100, A100, Jetson-Thor
• 운영 체제(Operating System): Ubuntu 20.04 이상
• 최소 RAM: 2.5 GB (large-v3 모델의 경우 5 GB 권장)
• CUDA 버전: 11.8 이상
• 드라이버 버전(Driver Version): 520.0 이상
• Python 버전: 3.10-3.12

Apple Silicon 요구 사항(Apple Silicon Requirements)

• 지원 칩셋: M1, M1 Pro, M1 Max, M1 Ultra, M2, M2 Pro, M2 Max, M2 Ultra, M3, M3 Pro, M3 Max, M4, M4 Pro, M4 Max
• 운영 체제: macOS 15.0 (Ventura) 이상, iOS 18.0 이상
• 최소 RAM: 2 GB (large-v3 모델 사용 시 4 GB 권장)
• Python 버전: 3.10-3.12

▶️ 사용 및 배포(Usage and Deployment)

Apple 사용법

import torch
from thestage_speechkit.apple import ASRPipeline

...

스트리밍을 이용한 Apple 사용법

from thestage_speechkit.streaming import StreamingPipeline, MicStream, FileStream, StdoutStream

streaming_pipe = StreamingPipeline(
...

Nvidia 사용법 (HuggingFace Transfomers)

import torch
from thestage_speechkit.nvidia import ASRPipeline

...

Nvidia 사용법 (TheStage AI 엔진)

import torch
from thestage_speechkit.nvidia import ASRPipeline

...

💻 Apple용 온디바이스 데스크톱 애플리케이션 빌드하기

실시간 전사(transcription) 기능이 있는 macOS 데스크톱 앱을 빌드할 수 있습니다. 간단한 ReactJS 애플리케이션은 여기에서 찾을 수 있습니다: React 프론트엔드 링크
또한 이 백엔드를 사용하여 구축된 저희 앱을 여기서 다운로드할 수 있습니다: The Notes for macOS

📊 벤치마크(Benchmarks)

TheWhisper는 최대 30초 길이의 오디오 청크를 처리할 수 있도록 파인튜닝된 Whisper 모델입니다. 기존 Whisper 모델과 달리, 30초에 도달하기 위해 오디오에 침묵을 채울 필요가 없습니다. 품질 벤치마크를 위해서는 다국어 벤치마크 Open ASR Leaderboard를 사용했습니다.

포괄적인 품질 및 성능 벤치마크(다른 Whisper 추론 솔루션과의 비교 포함)는 benchmark/ 디렉토리를 참조해 주십시오.

🏢 Enterprise 라이선스 요약

TheStage AI 최적화 엔진을 더 많은 수의 GPU에서 상업적으로 사용하려면 다음 링크를 통해 문의해 주십시오: 서비스 요청

🧭 개발 현황

✅ 여러 청크 크기에 대한 OpenASR WER 벤치마크

✅ NVIDIA용 성능 벤치마크

✅ L40S, H100, RTX 4090, RTX 5090 지원

✅ Nvidia용 타임스탬프(Time-stamp) 지원

✅ Nvidia Jetson 지원

☐ NVIDIA용 스트리밍 컨테이너

☐ OpenAI와 호환되는 API를 사용하는 NVIDIA GPU에서의 즉시 사용 가능한 컨테이너

☐ 화자 분할(Speaker diarization) 및 화자 식별(speaker identification)

🙌 감사 인사

• Silero VAD: thestage_speechkit/vad.py에서 음성 활동 감지(Voice Activity Detection)에 사용됩니다. @snakers4를 참고하세요.
• OpenAI Whisper: 오리지널 Whisper 모델 및 사전 학습된 체크포인트입니다. @openai를 참고하세요.
• Hugging Face Transformers: 모델, 토크나이저(tokenizer), 추론 유틸리티(inference utilities)를 제공합니다. @transformers를 참고하세요.
• MLX community: Apple Silicon용 MLX Whisper 구현체입니다. @mlx-explore를 참고하세요.