✵ 본 기사는 일부 AI에 의해 생성되었습니다.

본 기사에서는 Google의 최신 LLM인 Gemini API와 고정밀 캐릭터 음성 합성 엔진인 GPT-SoVITS를 결합하여, Twitch 등의 라이브 방송에서 인터랙티브하게 대화 및 실황을 할 수 있는 「OS 네이티브 동작 AI VTuber 방송 프레임워크」의 아키텍처와 그 기술적인 뒷면을 해설합니다.

※ 본 시스템의 완전한 소스 코드 및 원클릭으로 환경 구축이 가능한 자동화 런처를 포함한 「스타터 패키지(Starter Package)」는 기사 마지막 부분에서 소개합니다.

🛠️ 시스템 아키텍처 개요

본 시스템은 방송인의 음성(마이크)이나 시청자의 채팅(Twitch / OneComme)을 수신하여, Gemini로 사고하고, GPT-SoVITS로 캐릭터의 목소리로 발성하여, OBS Studio로 방송하기까지의 처리를 멀티스레드(Multi-thread)로 실시간 실행합니다.

코드 스니펫

graph TD

A[Twitch Chat / OneComme WebSocket] -->|Comment Queue| B(Gemini Dialogue Thread)

C[Broadcaster Microphone STT] -->|Priority Input| B

B -->|Response Parser| D(Voice Synthesis Thread)

D -->|Set Model & TTS Request| E(GPT-SoVITS API)

E -->|Audio Stream Output| F(Pygame Mixer Virtual Device)

F -->|OBS Audio Input| G[OBS Stream Output]

H[Screen Capture MSS/VLM] -->|Visual Data| B

🌟 구현한 3가지 「킬러 기능」

• 실시간 일-영 심리스(Seamless) 음성 전환

캐릭터(LLM)가 「영어(EN)」와 「일본어(JP)」 하이브리드로 출력한 대사를 자동으로 해석하여, 발성하는 언어 모델(GPT/SoVITS 체크포인트)을 API를 통해 실시간으로 전환합니다.

이를 통해 동일한 캐릭터이면서도 유창한 영어와 일본어 바이링구얼 보이스를 양립시키고 있습니다.

Python

성대(모델)의 실시간 동적 전환 핵심 구현 예시 (발췌)

if current_active_model_lang != target_lang:
requests.post(
f"{API_URL}/set_model",
json={"gpt_model_path": target_gpt, "sovits_model_path": target_sovits}
)

2. 직관적인 마이크 통역 바이패스 모드 (대변 기능)

방송인이 마이크로 「〇〇라고 영어로 전해줘」라고 말하면, Gemini의 잡담 프롬프트(캐릭터 설정이나 풍자 등)를 완전히 스킵(Bypass)합니다.

시스템이 내부적으로 대상 구절만을 핀포인트로 짧은 영어로 자동 번역하고, 발음용 영어 TTS 모델로 즉시 대변 발화를 수행합니다. 라이브 방송 중 해외 리스너와의 커뮤니케이션을 매우 직관적으로 수행할 수 있도록 설계했습니다.

• 음성과 완전히 싱크로되는 「일-영 실시간 번역 자막」

소리를 냈을 때의 재생 시간을 밀리초(ms) 단위로 해석하여, OBS용 HTML 브라우저 소스(overlay/subtitle.html)가 이를 수신하여 동기 타이핑(Synchronized Typing)합니다.

말하는 언어를 자동 판정하여, 「영어를 말할 때는 일본어 자막을 한 글자씩 타이핑」, 「일본어를 말할 때는 영어 자막을 한 단어씩 타이핑」하는 고도의 비주얼 동기화 애니메이션을 구현했습니다.

💬 마치며: 기술적인 소감

Gemini API의 빠른 응답 속도(gemini-3.5-flash)와 GPT-SoVITS의 풍부한 표현력을 결합함으로써, 기존의 채팅 읽어주기 봇을 넘어선 「살아있는 캐릭터」로서의 AI 방송 시스템을 구축할 수 있었습니다.

예외 처리(try-except)를 철저히 하여, 마이크나 Twitch 토큰이 설정되지 않은 경우에도 폴백(Fallback)하여 일부 기능만으로 계속 구동되는 견고한 설계로 되어 있습니다.

📦 소스 코드 공개 및 「Starter Pack」에 대하여

본 시스템의 핵심이 되는 소스 코드는 엔지니어분들을 위해 GitHub를 통해 오픈 소스 (MIT License)로 공개하고 있습니다. 직접 환경 구축이나 커스터마이징을 하실 수 있는 분들은 아래 링크를 통해 클론(Clone)하여 시도해 보시기 바랍니다.

GitHub Repository: [https://github.com/Vivid-Ark/ruri_stream]

"Python 환경 구축이 번거롭다", "에러로 헤매지 않고 지금 바로 방송에 도입하고 싶다!"라고 생각하시는 분들께

비엔지니어 분들이나 셋업의 번거로움을 줄이고 싶은 크리에이터 분들을 위해 「Starter Pack」을 준비했습니다.

프리미엄 버전에는 GitHub의 공개 코드와 더불어 다음과 같은 한정 툴이 동봉되어 있습니다.

🚀 완전 자동 셋업 런처 (.bat)

(※ 번거로운 라이브러리 설치나 경로(Path) 설정을 더블 클릭 한 번으로 완전 자동화합니다. 초보자도 헤매지 않고 실행할 수 있습니다)

🎙️ 내레이션 음성 자동 생성 툴 (Voice Generator)

(※ 방송뿐만 아니라, YouTube 해설 영상 등의 내레이션 WAV 음성을 일괄 생성할 수 있는 전용 스탠드얼론(Standalone) 툴입니다)

자신의 환경에 간편하게 AI VTuber 시스템을 구축하고 싶은 분들은 꼭 이 패키지를 활용해 보시기 바랍니다.

자세한 내용은 위의 GitHub 리포지토리 README.md 내에 기재되어 있습니다.

읽어주셔서 감사합니다.

Discussion