제가 가장 궁금했던 점은 간단했습니다. 어떤 데스크톱 에이전트 앱이 로컬 모델이 실제로 작동할 수 있게 해주며, 그중 얼마나 많은 부분이 조용히 클라우드에 의존하는가 하는 것이었습니다. 저는 개발자가 아닌 일반 사용자이므로, 저의 솔직한 경험을 공유합니다.
Setup: MacBook Pro M5, 32GB 메모리 환경에서 Qwen 3.8 27B 모델을 로컬로 구동했습니다. goose는 현재 Linux Foundation에서 운영하고 있습니다. llama.cpp가 내장되어 있으며, Settings > Local Inference에서는 사용자의 메모리를 기반으로 모델을 추천해주기 때문에 별도로 엔진을 설정할 필요가 없습니다. 확장 기능/MCP 측면은 여러 가지를 연결하는 것을 좋아하는 사람에게 훌륭합니다. 다만 데스크톱 앱으로서의 완성도는 떨어지며, 자체 문서에서도 로컬 모델은 컨텍스트 윈도우(context windows)가 작아진다는 경고가 있습니다. 개발자들의 꿈이라고 불렸지만, 저는 그 하이프를 완전히 이해하지 못했습니다.
LM Studio Bionic: 이미 LM Studio를 사용하고 있다면 다음 단계로 자연스럽게 넘어갈 수 있는 앱입니다. 모델 라이브러리는 동일하지만, 이제 문서를 초안 작성하고, 코드를 편집하며, 명령을 원활하게 실행할 수 있습니다. 기기에 내장된 음성 받아쓰기(on-device, Voxtral) 기능이 탑재되어 있어, 바쁘거나 손을 자유롭게 쓸 수 없을 때 매우 좋았습니다. 경고: 일부 모델은 클라우드 기반이며 비용이 발생하므로, 실제로 로컬에서 무엇이 구동되는지 확인해야 합니다.
Hermes Desktop: 이 데스크톱 앱의 디자인은 눈에 거슬리고 전반적으로 일반적이지 않게 느껴집니다. 그 외에는, 사용자가 로컬 모델을 선택하기 전에 시험용 모델로 설정 과정을 안내하는 채팅 기능이 있어 좋았습니다. 또한 GPU에 실제로 맞는 모델만 추천해줍니다. 앱과 MCP 서버가 하나의 Connectors 페이지에 존재합니다. 커뮤니티가 매우 크고 많은 피드백을 받기 때문에, Hermes는 더욱 적응력이 뛰어납니다. 하루 종일 한 앱 안에서 생활하며 편안함을 느끼고 싶다면, 이 앱이 당신의 AI 에이전트가 될 것 같습니다.
Atomic Agent: 완전히 로컬로 실행할 수 있으며, Fusion이라는 선택적 모드를 가지고 있습니다. 이 모드는 로컬과 클라우드를 혼합합니다. 최대 8개의 워커(workers)를 사용하여, 클라우드 모델이 계획을 세우고 로컬 모델이 작업을 수행하거나 그 반대로 작동합니다. 로컬 모델만으로는 큰 작업에서 병목 현상이 발생할 때 유용하지만, 이 모드에서는 완전히 자체 호스팅되지는 않습니다.
Jan: 클래식한 자체 호스팅 서비스에 가장 가깝습니다.
오픈 소스이며 로컬 모델을 OpenAI 스타일의 API로 구동할 수 있어, 사용자의 기기에 있는 다른 앱이나 스크립트에서도 사용할 수 있습니다. 하지만 에이전트 부분(Cowork)은 여전히 나이틀리 버전만 지원하기 때문에 안정화된 버전으로는 파일을 건드릴 수 없습니다. 사적인 채팅과 로컬 API로는 훌륭하지만, 그 이상으로 사용하려면 적합하지 않습니다.
제가 추천하는 방식:
- 다른 도구의 백엔드로 사용할 로컬 모델: Jan
- MCP/확장 기능에 연결할 수 있는 완전한 로컬 에이전트: goose (다만 컨텍스트 크기가 작다는 점은 유념해야 합니다)
- 이미 LM Studio에서 모델을 자체 호스팅하는 경우: Bionic (단, 유료 클라우드 모델도 확인하세요)
- 큰 작업에 도움이 필요한 소형 모델이며 일부 클라우드 사용이 괜찮다면: Atomic Agent의 Fusion One 앱 (방대한 커뮤니티와 모든 것을 위한 커넥터 제공) 또는 Hermes Desktop
혹시 여기 계신 분들 중 일상적인 AI 사용을 전적으로 자신의 하드웨어로 옮긴 분이 있나요? 어떤 것을 구동하게 되셨는지 궁금합니다?
제출자: /u/GapNew4766 [링크] [댓글]
