약속드린 대로, 저의 100% 로컬 음성 대 음성 (voice-to-voice) 어시스턴트 GitHub 링크를 공개합니다
요약
개인정보 보호를 위해 100% 로컬 환경에서 실행되는 음성 대 음성(Voice-to-Voice) AI 어시스턴트 'Athena'가 공개되었습니다. C++로 구현되어 효율적이며, 감정 표현과 장기 기억, 대화 가로채기 기능을 지원합니다.
핵심 포인트
- Qwen3.5, Orpheus 3B, Whisper 등 오픈소스 모델 결합
- Python 없이 C++로 구현되어 단일 소비자용 GPU에서 실행 가능
- 사용자의 감정을 읽고 자연스러운 감정(웃음, 한숨 등)으로 반응
- 세션 간 장기 기억 유지 및 대화 문맥 관리 기능 제공
- 클라우드나 API 키 없이 완전한 오프라인 환경 지원
이전에 이 프로젝트의 이전 버전들을 게시하며 GitHub 링크를 약속드린 적이 있지만, 제 로컬 시스템에서 코드를 푸시할 기회를 놓쳤습니다. 모두 죄송합니다, 제가 삶이 매우 바쁘네요 :P
어쨌든, 거두절미하고 바로 소개하겠습니다:
GitHub: https://github.com/igorbarshteyn/athena
Athena는 완전히 오프라인이며, 개인정보 보호를 최우선으로 하는 음성 어시스턴트로, 전적으로 로컬 하드웨어에서 실행됩니다. Athena는 대규모 전문가 혼합 (Mixture-of-Experts, MoE) 언어 모델 (Qwen3.5-397B), 신경망 텍스트 음성 변환 (Neural Text-to-Speech, TTS) (Orpheus 3B), 실시간 음성 인식 (Speech Recognition) (Whisper-small.en), 그리고 SNAC 신경 오디오 코덱 (Neural Audio Codec)을 하나의 4단계 프로세스 파이프라인으로 결합했습니다. 이 모든 과정은 런타임 시 Python을 전혀 사용하지 않는 C++로 구현되었습니다 (설정 시 단 한 번의 오프라인 emotion2vec+ 모델 변환을 위한 선택적인 Python 스크립트 하나만 존재합니다).
Athena는 자연스러운 감정(웃음, 한숨, 헐떡임)을 담아 말하며, 사용자의 목소리에 담긴 기본적인 정동 (Affect)을 읽고 그에 반응합니다. 또한 세션 간의 기억을 유지하며 (대화 사이에 지속되는 진화하는 장기 기억과 성격), 긴 대화 문맥 (Context)을 유지하고, 문장 중간에 말을 끊을 수 있습니다 (말을 가로채면 멈추며, 이미 말한 내용은 문맥에 유지합니다). 그리고 단일 소비자용 GPU와 시스템 RAM만으로 실행됩니다. 클라우드도, 원격 측정 (Telemetry)도, API 키도 필요 없습니다.
현재 시스템은 친구처럼 행동하고 관계를 맺으려는 성향이 강하도록 튜닝되어 있습니다. 이러한 파라미터는 코드에 내장된 시스템 프롬프트 (System Prompts)를 통해 사용자의 취향에 맞게 조정할 수 있습니다.
이러한 기능들을 보여주는 2개 세션 데모 영상입니다:
https://youtu.be/8HuRUpJ4_as?t=237 - 세션 1 - 기억 심기
https://youtu.be/8HuRUpJ4_as?t=2137 - 세션 2 - 회상 테스트
/u/Responsible_Fig_1271 님이 r/LocalLLaMA 에 게시함
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기