Python과 Whisper를 사용하여 음성 비서 구축하기

컴퓨터가 로봇 같은 대본을 읽는 것이 아니라, 인간의 대화처럼 유연하고 명확하게 당신의 질문에 속삭이듯 응답하는 것을 상상해 보세요. 이것이 바로 Python과 OpenAI의 Whisper 모델을 결합했을 때의 힘입니다. 당신은 단순히 스크립트를 코딩하는 것이 아니라, 듣고, 이해하고, 다시 말하는 음성 비서(Voice Assistant)를 구축하고 있는 것입니다. 그리고 가장 좋은 점은 무엇일까요? 당신의 노트북에서 한 시간도 채 걸리지 않아 작동하는 프로토타입을 만들 수 있다는 것입니다.

음성 비서는 스마트 스피커부터 자동차 대시보드에 이르기까지 어디에나 있지만, 대부분은 느리거나 비용이 많이 들거나 개인정보를 침해할 수 있는 클라우드 서비스에 의존합니다. 로컬에서 실행되는 최첨단 음성-텍스트 변환 (Speech-to-Text) 모델인 Whisper를 사용함으로써, 당신은 비서의 동작, 데이터 및 지연 시간(Latency)에 대해 완전한 제어권을 갖게 됩니다. 이 가이드는 Python, Whisper, 그리고 텍스트 음성 변환 (Text-to-Speech) 엔진을 사용하여 프라이빗하고 오프라인 작동이 가능한 음성 비서를 구축하는 과정을 안내하므로, 오늘 바로 실험을 시작할 수 있습니다.

왜 Whisper와 Python인가?

Whisper는 OpenAI의 범용 음성 인식 (Speech Recognition) 모델입니다. 다양한 오디오 데이터로 학습되었으며 여러 언어를 지원하므로, SpeechRecognition의 내장 Google API와 같은 오래된 도구보다 훨씬 더 강력합니다. 많은 클라우드 기반 대안들과 달리, Whisper는 **로컬 (Locally)**에서 실행될 수 있으며, 이는 다음을 의미합니다:

• API 비용 없음: 전사 (Transcription)를 위한 비용이 들지 않습니다.
• 네트워크 왕복 지연 시간 제로: 네트워크 왕복으로 인한 지연 시간이 없습니다.
• 완전한 개인정보 보호: 당신의 오디오가 기기를 절대 떠나지 않습니다.
• 커스터마이징 가능성: 모델을 미세 조정하거나, 웨이크 워드 (Wake words)를 추가하거나, 어떤 LLM과도 통합할 수 있습니다.

Python은 풍부한 생태계 덕분에 이를 위한 이상적인 언어입니다: 전사를 위한 openai-whisper, 음성 출력을 위한 pyttsx3, 그리고 마이크 입력을 위한 SpeechRecognition이 있습니다.

환경 설정하기

코드를 작성하기 전에 적절한 도구가 필요합니다. 프로젝트 디렉토리를 생성하고 의존성을 격리하기 위해 가상 환경 (Virtual Environment)을 설정하세요:

mkdir voice-assistant && cd voice-assistant
python -m venv venv
source venv/bin/activate  # Windows의 경우: venv\Scripts\activate

이제 핵심 패키지 (Core Packages)를 설치합니다:

pip install openai-whisper SpeechRecognition pyttsx3 python-dotenv

만약 openai-whisper 설치 중 문제(일부 시스템에서 흔히 발생)가 발생한다면, 더 빠르고 호환성이 높은 faster-whisper로 교체하세요:

pip install faster-whisper

API 키를 안전하게 저장하기 위해 .env 파일을 생성하세요 (Whisper 자체는 로컬 사용 시 키가 필요하지 않지만):

# .env
OPENAI_API_KEY=your-key-here  # 선택 사항, 나중에 GPT를 사용하는 경우에만 필요

핵심 구축하기: Whisper를 이용한 음성-텍스트 변환 (Speech-to-Text)

어시스턴트의 핵심은 말하는 내용을 텍스트로 변환하는 능력입니다. Whisper는 이 작업을 우아하게 처리합니다. 다음은 모델을 로드하고 오디오 파일을 전사 (Transcription)하는 최소 기능의 함수입니다:

import whisper

# Whisper 모델 로드 ("base"는 속도를 위해, "large"는 정확도를 위해 선택)
...

이 함수는 오디오 파일 경로(예: recorded.wav)를 입력받아 전사된 텍스트를 반환합니다. "base" 모델은 빠르고 (M2 MacBook 기준 5초 오디오에 0.5초 소요) 가볍지만 (74MB), "large" 모델은 더 높은 정확도를 제공하지만 더 많은 리소스를 요구합니다 [4].

음성 입력 캡처하기

마이크로부터 오디오를 캡처하려면 SpeechRecognition 라이브러리를 사용하세요. 이 라이브러리는 오디오를 녹음하고 저장할 수 있는 간단한 인터페이스를 제공합니다:

import speech_recognition as sr
import wave

...

이 함수는 5초 동안의 오디오를 녹음하여 input.wav로 저장하고, 전사를 위한 파일 경로를 반환합니다.

텍스트를 다시 음성으로 변환하기

Whisper가 음성을 전사하고 나면, 응답을 해야 합니다. pyttsx3는 오프라인에서 작동하는 크로스 플랫폼 텍스트 음성 변환 (Text-to-Speech, TTS) 라이브러리입니다:

import pyttsx3

def speak(text: str):
...

이 함수는 시스템의 기본 음성을 사용하여 주어진 텍스트를 말합니다. 엔진 속성 (Engine Properties)을 조정하여 속도, 목소리, 언어를 사용자 정의할 수 있습니다.

모두 합치기: 전체 어시스턴트

이제 모든 것을 결합하여 실제로 작동하는 음성 비서(voice assistant)를 만들어 보겠습니다. 다음은 녹음, 전사(transcription), 그리고 응답을 수행하는 전체 스크립트입니다:

import whisper
import speech_recognition as sr
import wave
...

이 스크립트를 실행하고 마이크에 대고 말하면, 어시스턴트가 응답하는 것을 볼 수 있습니다. 이는 웨이크 워드(wake words), LLM 통합 또는 GUI를 통해 확장할 수 있는 작동 가능한 프로토타입입니다.

다음 단계: 더 똑똑하게 만들기

이 기본적인 어시스턴트는 기능적으로 작동하지만, GPT-4와 같은 LLM 또는 Llama 3와 같은 로컬 모델과 통합하면 더욱 강력하게 만들 수 있습니다. 하드코딩된 응답 대신, 전사된 텍스트를 API로 보내고 AI의 답변을 받아오도록 하세요. 또한 다음과 같은 작업도 가능합니다:

• SpeechRecognition의 키워드 감지를 사용하여 웨이크 워드 (wake word) (예: "Hey Assistant") 추가
• 녹음 및 재생을 위한 Streamlit 기반의 웹 인터페이스 (web interface) 구축 [3]
• PyQt 또는 Tkinter를 사용하여 **데스크톱 앱 (desktop app)**으로 배포
• 실시간 스트리밍 전사 (streaming transcription)를 위해 Faster-Whisper 사용 [2]

오늘 바로 구축을 시작하세요

이제 클라우드 서비스에 의존하지 않고도 듣고, 이해하고, 말하는 음성 비서를 구축하는 데 필요한 모든 것을 갖추었습니다. 위의 코드는 바로 실행할 수 있으며, 아키텍처는 여러분의 아이디어와 함께 성장할 수 있을 만큼 유연합니다.

여러분의 도전 과제: 실시간 데이터를 가져와서 "오늘 날씨 어때?"와 같은 사용자 정의 명령에 응답하도록 스크립트를 수정해 보세요. 여러분이 만든 버전을 Dev.to에 공유하고 #voiceassistant 또는 #whisper 태그를 달아주세요. 한 번에 하나의 음성 명령으로, 인간과 컴퓨터 상호작용(human-computer interaction)의 미래를 함께 만들어 갑시다.

이 내용이 도움이 되었다면, 커피 한 잔을 후원해 주세요 ☕ — 여러분의 후원이 이러한 글을 계속 쓸 수 있는 힘이 됩니다!

또한 저의 AI 도구 모음도 확인해 보세요: AI 次元世界 — 개발자를 위한 무료 AI 도구들입니다.