우리가 항상 원했던 스마트 스피커를 만들었습니다

Claude가 스마트 스피커 제작을 돕기 위한 Vibe 하드웨어 엔지니어링 (Vibe Hardware Engineering)을 수행할 수 있는지 확인해보고 싶었습니다. 결과는, 가능했습니다! 저는 이것을 boxBot이라고 부릅니다.

Claude는 하드웨어 세트인 Raspberry Pi, Hailo, ReSpeaker 마이크, Pi Camera, Waveshare 스크린 및 스피커를 선택하는 데 도움을 주었습니다. 또한 수동 냉각 (passive cooling) 설정을 위한 열 부하 (thermal loads) 및 방산율 (dissipation rates)을 계산하는 데에도 도움을 주었습니다. 본체는 호두나무로 직접 손수 만들었습니다.

내부의 에이전트 (agent) 또한 커스텀으로 제작되었습니다. 아마도 OpenClaw를 설치하고 그대로 끝낼 수도 있었겠지만, 저는 카메라와 마이크가 거실에 놓여 있다는 점을 고려하여 하드웨어와 더 밀접하게 결합되고 보안이 강화된 무언가를 만들고 싶었습니다. 이 에이전트는 소수의 도구만을 사용하는 고도로 스킬 중심적 (skills driven)인 구조이며, 그 외의 모든 것은 Python 스크립트와 에이전트가 boxBot을 제어하고 디스플레이를 조작하는 데 사용할 수 있는 커스텀 제작된 boxBot SDK를 통해 이루어집니다.

디스플레이 시스템은 위젯 프레임워크 (widget framework)를 사용하므로, 에이전트가 스크린샷 없이도 화면에 표시된 내용을 쉽게 읽을 수 있고 화면상의 내용을 효과적으로 조작할 수 있습니다. 에이전트는 JSON을 사용하여 위젯이 화면에 어떻게 배치되어야 하는지, 그리고 어떤 데이터가 위젯으로 흘러 들어가야 하는지를 지정합니다.

스마트 스피커를 만들 때는 배경 소음, 옆 사람과의 대화, 끼어들기 (barge-in) 등 음성 에이전트가 정말 어려워하는 인간 대화의 미묘한 차이(nuance)가 많이 존재합니다. 저는 에이전트 중심 (agent driven) 방식으로 설계함으로써 로직을 엄청나게 단순화할 수 있었습니다. 에이전트는 배경 소음을 무시하기 위해 마이크를 음소거할 시점을 제어할 수 있고, 작업할지 말할지 또는 말할지의 순서를 결정할 수 있으며, 음성 또는 WhatsApp 중 어떤 채널로 응답할지 선택할 수 있습니다. 복잡한 규칙 대신, 에이전트 중심의 하드웨어와 스킬을 결합하면 훨씬 더 풍부한 경험을 제공할 수 있습니다. 현재 boxBot은 가족 일정을 관리하고 있는데, 제 아내는 제가 일정에 무언가를 추가할 때마다 문자를 받기를 원했습니다. boxBot은 해당 요청을 반영하여 일정 스킬 (calendar skill)을 업데이트했고, 이제 제가 무언가를 추가하면 그녀에게 메시지를 보냅니다. .md 파일에 단 한 줄만 적으면 원하는 동작을 얻을 수 있습니다. 믿기지 않을 정도로 유연하고 단순합니다.

메모리 시스템에 대한 세부 사항, 목공 작업에서의 어려움, 그리고 보안 세부 사항에 대해 덕후처럼 깊게 파고들 수도 있겠지만, 사람들이 대화를 나누고 싶어 한다면 그 내용은 댓글을 위해 남겨두겠습니다.

직접 확인해보고 싶으시다면 오픈 소스 (Open sourced)로 공개되어 있습니다. 여전히 진행 중인 작업(Work in progress)이지만, 몇 달이 지난 지금은 마침내 가족의 일상생활에 유용한 어시스턴트 (Assistant)처럼 느껴집니다.

Www.github.com/dv-hart/boxbot