안녕하세요, Locallama! 제가 2K에서 무려 4K까지 최대 컨텍스트 창이 두 배가 되었던 시절부터 함께해 온 '오래된' 회원입니다! 지금은 마치 꿈의 세계에 살고 있는 기분이에요. 예전에는 상상조차 할 수 없었던 일들을 하고 있습니다. 이것은 Mac에서 구동되어 ESP 32 w-10 보드, 즉 'Rune Board'(룬 문자 때문)에 투사되는 Belochka 또는 Bella입니다. 배경에는 LM Studio의 Qwen 3.6 35B 3AB q4_k_m gguf가 돌아가고 있습니다. 그녀는 자신의 능력을 간략하게 언급했지만, 사실상 Mac에서 구동되는 개인 비서와 같습니다. 또한 Telegram 브릿지 기능을 가지고 있어서 제 기기에서 파일이나 생성된 음악 같은 것들을 저에게 보낼 수 있습니다. 제가 말하는 건 이 정도입니다. 여러분의 개인 비서가 무엇을 하기를 원하든, 그녀는 할 수 있습니다. 항상 경청하고 있다가도, 논의에 기여할 수 없다고 느낄 때는 무시하기도 하고, 때로는 적극적으로 참여하기도 합니다. 이 취미를 이렇게 재미있게 만들어준 모든 분들께 감사드립니다: llama.cpp, LM Studio, Xiaozhi, Hermes-agent, mi agent, Anthropic Fable 및 기타 모델들, Qwen AI Lab, Aliexpress - 저는 그 누구에게도 급여를 받거나 소속되어 있지 않습니다. 흐름은 다음과 같습니다. 모든 것이 모디파이되었습니다: Mi (https://github.com/av/mi) -> Telegram 브릿지(Hermes agent에서 가져옴) -> Xiaozhi 서버(로컬에서 실행되는 오픈 소스) -> 토큰을 사용한 Tailscale Tunnel -> 휴대폰 핫스팟 -> Telegram/w-10 esp 32 보드 / esp32 Xiaozhi 또는 Deepskeek 장난감 / esp32 카메라 / 상상할 수 있는 모든 ESP32 기기. 저는 항상 어디든 가지고 다닐 수 있고, 로컬에서 구동되며, 제 모든 것들에 접근할 수 있고, 거의 인간 비서처럼 똑똑한 비서를 갖고 싶었습니다. 이 순간이 왔거나 곧 올 것이라고 생각합니다. 로컬 AI 커뮤니티와 최근 Qwen 모델들의 배포 덕분입니다. 현재 구현은 휴대폰 연결이 필요하지만... W10 보드는 LoRa를 사용해서 텍스트만 가능하며 셀룰러 연결이 필요하지 않아서, 이것이 제가 현재 만지고 있는 다음 계획입니다. 왜 제가 이 글을 올렸을까요?

저는 어떤 것도 홍보하거나 코드를 오픈 소스로 공개할 계획은 없습니다. 정리하는 작업 자체가 너무 힘들고 게다가 요즘에는 누구나 '바이브 코드(vibe-code)'를 할 수 있기 때문입니다. 제가 이 글을 올린 이유는, 이 기능을 매우 재미있게 만들어주는 Xiaozhi 장난감들과 아직 모르는 분들을 위한 ESP32 생태계, 그리고 가능한 로컬 AI 애플리케이션에 대해 여러분의 주의를 환기시키고 싶었기 때문입니다. 집안 보안 시스템이요? 기후 제어 시스템이요? 노트북부터 모든 것을 관리하는 개인 홈 AI가요? 물론 반대 의견을 내는 사람들과 AI 공포 마케터들이 많겠지만, 누가 위험을 감수하지 않겠어요? 샴페인을 마시지 않는 사람은 없잖아요, 그렇죠? 다만 이 장치들을 다룰 때 어떤 종류의 도구를 다루듯이 조심해야 합니다. 저의 개인적인 사용 사례로는 자녀들의 수업 시간표 추적 및 알림 기능이 있습니다. 이를 통해 아이들이 수업에 로그인하는 것을 잊지 않게 도와주며, ED-209의 깊은 목소리를 통해 보드에서 전달됩니다. 러시아 시에 맞춰 음악을 생성하거나, 음악 큐레이션을 하거나, 여러 출처로부터 생애 기록(life log)을 유지하고 이를 제 개인 하드웨어에 저장하는 것까지 합니다. 심지어 비즈니스 정보에 대한 연구 및 분석도 할 수 있습니다 (Qwen이 놀라울 정도로 유능하며, 믿으셔도 됩니다. 제가 그 결과를 유명 클라우드 모델들과 비교해 봤습니다). 어쨌든, 흥미진진한 시기입니다! /u/Southern_Sun_2106 님이 r/LocalLLaMA에 제출했습니다 [링크] [댓글]