GitHub에는 Open-LLM-VTuber라는 오픈 소스 프로젝트가 있습니다. 이 프로젝트는 원래 오픈 소스 방식을 이용해 비공개(closed) AI 스트리머인 neuro-sama를 재현하는 것을 목표로 했으나, 현재는 음성 대화가 가능한 AI 동반 도구로 발전했습니다.
로컬 모델을 사용하면 모든 기능을 오프라인으로 구동할 수 있으며, 채팅 내용은 사용자 장치에만 남아 있습니다.
활용할 수 있는 기능이 많습니다.
- 카메라, 화면 녹화(screen recording), 스크린샷을 연결하여 사용자가 자신의 화면과 함께 보는 것이 가능합니다.
- 헤드폰을 착용하지 않아도 언제든지 대화를 중단시킬 수 있으며, AI는 자신의 목소리를 사용자의 말로 인식하지 않습니다.
- 마우스로 클릭하거나 드래그해도 반응합니다.
- AI가 입 밖으로 내지 않은 생각이나 동작 역시 개별적으로 표시할 수 있습니다.
데스크톱 위젯(desk pet) 모드는 투명 배경, 전역 고정(global overlay), 마우스 관통(mouse pass-through)을 지원합니다. 화면에 떠 있어도 작업에 방해가 되지 않습니다.
외형은 사용자가 직접 가져온 Live2D 모델로 변경할 수 있으며, 성격은 프롬프트(Prompt)를 수정하여 바꿀 수 있습니다. 특정 목소리를 원한다면 음성 복제(voice cloning) 기능도 사용할 수 있습니다.
백엔드 모델로는 Ollama, OpenAI 호환 인터페이스, Gemini, Claude, DeepSeek, LM Studio 등을 선택할 수 있습니다. 사용자가 중국어로 대화해도 AI가 일본어 목소리로 응답하게 할 수 있습니다.
Windows, macOS, Linux 모두 설치 가능합니다. NVIDIA 그래픽 카드(N卡)가 없어도 CPU로 구동하거나, 자원 소모 부분을 클라우드 API에 맡길 수도 있습니다.
몇 가지 주의사항을 먼저 말씀드립니다:
- 장기 기억 기능은 현재 일시적으로 중단되었으며, 이전 대화 기록을 바탕으로 다음 주제를 이어가는 방식만 가능합니다.
- 휴대폰에서 원격 접속하려면 HTTPS 설정을 먼저 해야 마이크가 작동합니다.
- 팀에서는 v2.0을 재작성하고 있으며, v1은 버그 수정(bug fix)에만 집중하고 신규 기능 요청은 더 이상 받지 않습니다.
🔗 https://t.co/MzTw82RuQV
