Qwen3.5 4B 기반의 스킬/툴 호출 기능을 갖춘 로컬 음성 비서. 전용 GPU 불필요. 로컬 STT+TTS

Sonia // 완전히 로컬에서 작동하는 풀-듀플렉스(full-duplex) 음성 비서입니다. 마이크가 닫히지 않습니다. 문장 중간에 끼어들기(barge-in)가 가능하며, 이 경우 일시 정지하거나 응답을 재개하거나 취소할 수 있습니다. 클라우드 연결이나 전용 GPU 없이, 총 작업 집합(working set) RAM이 15GB 미만입니다. 모델 (모두 로컬): - LLM: Qwen3.5-4B (Q4_K_M, 약 2.7 GB). iGPU를 사용하여 llama-server over Vulkan으로 구동 가능합니다. - STT: Voxtral Mini 4B, 스트리밍(audio.cpp) - TTS: Pocket TTS (CPU), 5개 언어 팩 / 26개 음성 - 턴 감지: Silero VAD + Smart Turn classifier + 일시 정지가 모호할 때 사용되는 작은 LISTEN/REPLY 프롬프트 스킬 및 툴 호출: - 내장 도구: datetime, 타이머, 시계 (반복 읽기 전용 명령어), 메모, run_command - 스킬은 일반 SKILL.md 패키지입니다. SKILLS_DIR을 이미 사용하는 폴더(예: 코딩 에이전트의 스킬 디렉토리)를 가리키도록 설정하고 UI에서 턴별로 토글할 수 있습니다. - 툴 게이트 통과(tool-gate pass)는 제안된 모든 호출을 실제 발화 내용과 재확인하므로, 4B 모델이 모호한 후속 질문에 의해 잘못된 명령을 실행하는 것을 방지합니다. - 셸 명령어는 'off | ask | auto' 승인 정책을 따릅니다: 위험도가 높은 명령어는 음성 또는 클릭 가능한 확인을 기다립니다. 다국어 지원: 사용자가 말하는 언어를 그대로 반영합니다 (IT/EN 테스트 완료). 라이브 전사(live transcript)가 있는 웹 UI 외에도 --cli 및 --text 터미널 모드가 제공됩니다. STT: Voxtral · TTS: Pocket ▶️ 더 긴 영상:

== 업데이트 == Sonia는 이제 오픈 소스입니다: https://github.com/grigio/sonia-assistant ``` /u/Leading_Yogurt7025가 r/LocalLLaMA에 제출함 [링크] [댓글]