Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
저자는 구형 워크스테이션에 AI 에이전트 시스템을 구축한 경험을 공유합니다. Paruch와 XFCE를 사용하여 안정적인 배포 환경을 마련했으며, omniRoute 같은 도구를 활용해 다양한 모델 제공업체 연결 및 가용성 테스트의 효율성을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오랫동안 에이전트를 하나 구축하고 싶었습니다. 하지만 노트북의 제약 때문에 어려움이 있었습니다. 그래서 오래된 시스템을 살려내어 집에서 사용할 AI 워크스테이션으로 개조하기로 결정했습니다.
여기서는 여러 AI 서비스를 구동한 경험에 대해 이야기하며, 특히 Hermes Agent와 이를 더 쉽고 사용 가능하게 만들어준 도구들에 대해 다루고자 합니다.
이 시스템은 다음과 같은 사양을 가진 오래된 시스템입니다.
저는 최신 업데이트를 받기 위해 '롤링 배포판(rolling distribution)'이 필요했고, 작업의 편의성을 위해 데스크톱 환경도 필요했기 때문에 Paruch와 XFCE 데스크톱을 선택했습니다.
Paruch 사용자로서 약 3년 정도 되었는데, Debian에서 Paruch로 전환하게 된 첫 번째 계기는 최신 소프트웨어를 설치할 때 발생하는 어려움이 사라졌다는 점이었습니다.
작업 및 테스트용 시스템을 위해 매번 저장소(repository)를 추가하거나 Flatpak 같은 것을 사용해야 하는 상황은 정말 번거롭습니다.
Paruch는 이 과정을 저에게 매우 편리하게 만들어 주었습니다.
현재 데스크톱과 에이전트, 웹 서비스, 게이트웨이 등 모든 서비스가 구동되는 시스템은 약 1.5GB의 RAM을 사용하고 있으며, 이는 매우 합리적이고 적절한 수준입니다.
https://github.com/diegosouzapw/OmniRoute
Hermes 자체는 많은 모델을 관리할 수 있으며, 상당 부분의 작업을 스스로 처리할 수 있습니다. 하지만 이란 사용자에게는 항상 단순한 관리 기능 이상의 무언가가 필요합니다.
omni가 저에게 제공해 준 첫 번째이자 가장 중요한 기능은 프로바이더 연결 시 프록시를 사용할 수 있게 해준 것입니다.
또 다른 특징은 다양한 제공업체(Provider)들이 가진 모델들의 가용성을 빠르게 테스트할 수 있어서 시행착오를 겪을 필요가 없다는 것이었습니다.
그리고 훨씬 더 중요한 특징은, 제가 매달 수십억 달러를 여기에 쏟아붓고 싶지는 않다는 것이었기 때문에, 사용 가능하고 무료인 것을 찾을 수 있다는 점이 중요했습니다.
omni는 수많은 제공업체를 지원하는 것 외에도, 웹 쿠키(web cookie)를 통해 Claude와 Gemini 그리고... GPT 및 기타 기본 LLM들(default LLMs)에 연결할 수 있는 부분이 있습니다.
저는 Claude와 DeepSeek을 브라우저 세션에 연결할 수 있었습니다. 하지만 Claude는 봇으로 감지되어 계정이 정지될까 봐 걱정했습니다. DeepSeek은 코드를 작성할 때 서비스를 호출하는 문제가 있었는데, 에이전트가 이를 이해하지 못했습니다. 그래도 비(非)코드 작성을 위한 작업에는 여전히 좋습니다.
하지만 이러한 제한 사항이 없는 경우, omni가 제공하는 다른 웹 쿠키 기반의 제공업체들도 테스트해 볼 수 있습니다.
그리고 결국 제 문제를 해결해 준 제공업체는 ollama Cloud였는데, 저는 API를 통해 여기에 연결할 수 있었고, 에이전트가 이곳과 매우 쉽고 원활하게 작동했습니다. (자세한 내용은 아래에서 설명하겠습니다.)
만약 이란 외 국가의 전화번호나 가짜 번호에 접근할 수 있다면 NVIDIA도 사용할 수 있습니다. 그곳에서도 훌륭하고 무료인 모델들을 제공합니다.
omni를 설치하려면 Paruch에서 다음 명령어를 사용할 수 있습니다:
npm install -g omniroute
omniroute
ollamacloud
설치 방법은 간단합니다.
여기에서 가입하세요: https://ollama.com/signin
(VPN을 잊지 마세요, 보통 필요합니다.)
그런 다음 API 키를 받으세요.
omniroute의 제공업체 목록에서 ollama Cloud 제공업체를 찾고 연결을 만드세요.
그 다음으로 프록시(Proxy)를 설정해야 합니다. 저는 현재 메인 노트북에 있는 Heydivy를 사용했지만, 나중에는 이 시스템 자체에 설치할 예정입니다.
아래쪽에서 모델 목록을 보여주므로, 'test all' 옵션을 눌러 모든 모델을 테스트해보고 어떤 것이 사용 가능한지 확인할 수 있습니다.
테스트를 할 때는 제공되는 Playground 기능을 반드시 사용하세요. 가끔 모델이 사용 가능한 것처럼 보이지만 실제로는 작동하지 않는 경우가 있기 때문입니다.
저는 메인 모델로 gamma4 31b를 사용하고 있으며, 이 모델 덕분에 지금까지 작업을 진행할 수 있었습니다.
(어디서든 개념을 적용해야 합니다. Omni 내부든 Hermes 내부든 상관없습니다.)
Hermes를 설치하는 것은 매우 간단하며, 스크립트가 필요한 모든 것을 자동으로 설치해 줍니다. 만약 Parch가 업데이트되었다면 의존성(Dependency) 문제에 부딪힐 일이 없습니다.
https://hermes-agent.nousresearch.com/
다음 명령어로 설치할 수 있습니다.
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
설정 및 준비를 위해서는 먼저 Jadi의 이 비디오를 보는 것을 추천합니다. 설명이 아주 잘 되어 있습니다.
커스텀 프로바이더(Custom Provider)를 선택할 때, API와 Omni 주소를 입력하세요. 그러면 자동으로 모델 목록을 보여줄 것입니다.
Hermes는 대시보드도 제공할 수 있지만, 리눅스 환경에서 기본 인터페이스는 터미널입니다. 저는 계속 SSH에 접속하는 것이 번거롭고, 게다가 터미널 환경 자체가 매력적임에도 불구하고 기능적인 제한이 있기 때문에, 웹 클라이언트도 설치하기로 결정했습니다. 이것이 더 보기 좋고 사용하기 편리했기 때문입니다.
여기서 다운로드하고 설치할 수 있습니다. 설치도 쉽습니다.
https://github.com/nesquena/hermes-webui
다만, 저처럼 다른 시스템에 설치하는 경우 0.0.0.0으로 실행해야 한다는 점을 유의하세요.
제가 에이전트를 이용해 코딩할 예정이었기 때문에, 메인 시스템에 있는 에이전트 파일에 접근하여 에디터로 작업할 수 있는 메커니즘이 필요했습니다.
여러 방법을 테스트해봤는데, npm과 빌드 구조에 문제가 없었던 것은 mutagen이었습니다. 설치 및 설정 명령어 예시를 여기에 남깁니다.
설치를 위해: 두 시스템 모두에 설치해야 합니다.
yay -S mutagen.io-bin
동기화를 위해:
mutagen sync create \
--ignore="node_modules" \
--ignore=".Trash-*" \
...
그리고 접근이 가능해집니다.
