몇 달 동안 Claude Code를 음성으로 사용해 왔습니다. 실제 양방향 음성이 어렵다는 것을 알고 제 설정을 오픈 소스화했습니다

저는 몇 달 동안 Claude Code와 함께 음성으로 작업해 왔습니다. 제가 말하면, 그것이 저에게 다시 말을 걸어주는데, 솔직히 이것은 제가 에이전트(agent)를 사용하며 경험한 가장 자연스러운 방식입니다. 그러다가 주변에 아무도 이렇게 일하는 사람이 없다는 것을 알게 되었습니다. 제 동료들은 프롬프트를 구두로 지시하고, 그 후 Claude가 작성하는 모든 내용을 다시 읽는 데 집중합니다. 에이전트의 음성 모드를 만드는 것은 쉬워 보였습니다. Speech-to-text를 입력으로 받고, 음성 모델을 출력으로 받으면 주말 안에 끝날 거라고 생각했습니다. 하지만 저의 첫 번째 버전은 엉망이었습니다. 스피커를 통해 자신의 목소리를 계속 듣고 그것을 제가 말하는 것으로 받아들였습니다. 인터럽트 처리(interruption handling)는 너무 민감하거나 너무 느렸습니다. 그리고 에이전트가 작동하기 시작하면 듣기를 멈췄습니다. 그것을 멈추거나 방향을 바꾸려면 키보드로 돌아가야 했고, 이는 모든 목적을 무색하게 만들었습니다. 이 각각의 문제들을 해결하려면 적절한 에코 제거(echo cancellation), 고개를 끄덕이는 것과 실제 인터럽트를 구별하는 방법, 바쁜 동안 제가 말하는 것을 포착하는 방법, 그리고 전체 단락을 읽어주는 대신 몇 줄로 답변하도록 만드는 방법 등 진정한 엔지니어링이 필요했습니다. 이제 저는 옆에 앉아 있는 사람에게 설명하듯이, 문서나 코드 안에서 계속 이야기합니다. 그래서 제 설정을 정리하고 패키징하여 오픈 소스화했습니다. 이것은 Larmor라고 불립니다. 이 시스템은 MCP(Claude Code, Codex, Gemini CLI 등)를 지원하는 모든 에이전트와 작동하며 Mac의 로컬 모델만을 사용하여 실행됩니다: Speech-to-text는 Parakeet을 사용하고, 음성은 Chatterbox를 사용하며, Apple의 에코 제거 기능을 이용합니다. 현재는 Apple Silicon 전용으로 구축되었습니다. Claude Code에서는 /larmor로 시작할 수 있습니다. Claude가 도움을 준 부분은 다음과 같습니다. 저는 Claude Code를 사용하여 이것을 만들었습니다. Claude가 저와 함께 코드의 대부분을 작성했습니다: speak 및 listen 도구가 포함된 MCP 서버, 다음 도구 호출 시 작업 중인 내용을 Claude에게 전달하는 후크(hook), 음성 턴이 듣기 없이 끝나지 않도록 유지하는 Stop 후크, 설치 프로그램, 그리고 음성 엔진을 실행하는 메뉴 바 앱입니다. 인터럽트 처리가 가장 많은 반복 작업을 거쳤습니다.

이제 사용자가 말하기 시작하는 순간 음성을 일시 중지하며, 명확한 실제 음성이 아닌 '음...' 같은 소리에서는 멈추지 않습니다. 무료이며 오픈 소스(MIT)입니다. 첫 실행 시 약 3.7 GB의 모델을 다운로드합니다. curl -fsSL https://larmor.dev/install.sh | bash 코드: https://github.com/naveenvasou/larmor 사이트: https://larmor.dev 에이전트와 함께 코딩한다면, 한 세션을 사용해 보세요. 여러분에게 어떤 느낌인지 듣고 싶습니다. 특히 중단(interruption)과 지연 시간(latency)에 대해요. 제출자 /u/Former_Rutabaga_1670 [링크] [댓글]