사람들이 자신의 로컬 AI를 어떻게 활용하고 있는지에 대한 질문이 답변보다 훨씬 많다는 것을 보고, 제 경험에 대해 포스팅하려고 합니다. 대부분의 사람들은 자신들의 시스템을 이용해 거대한 프로젝트를 위한 최첨단(frontier-level) 코딩 전문 지식을 찾고 있는 것 같고, 그보다 낮은 수준은 충분하지 않다고 생각하는 것 같습니다. 저는 이에 동의하지 않으며, 그런 것에는 별로 관심이 없습니다. 요약하자면(TL;DR): 저는 최첨단 모델을 사용하여 제 대규모 책, 예술 작품, 보고서, 사진 및 스캔 자료 컬렉션에 있는 지루하지만 놀라울 정도로 유용한 작업을 로컬 에이전트가 지속적으로 수행할 수 있도록 인프라를 구축했습니다. 이 인프라를 구축하는 과정에서, 저는 최첨단 에이전트가 완료된 후에도 로컬 AI 작업을 지정/전환/변경하기 위한 전체 가이드, 문서 및 사용자 친화적인 옵션을 확보했음을 확인했습니다. 저는 주로 이러한 에이전트를 사용하여 수십만 개의 정보 조각을 처리하고 제 테라바이트 규모의 인간 생성 콘텐츠에 대한 연결고리/호기심을 생성하여, 제가 무엇을 깊이 파고들 가치가 있는지(혹은 단순히 잠깐 방문할지) 결정하는 데 사용합니다.
배경 설명: 저는 코더가 아니며, 프로그래머도 아니고, 리눅스 운영을 위한 bash 전문가도 아닙니다. 저는 실리콘밸리의 인기 스타트업 창업가 지망생이거나, 여기서 많이 보는 것처럼 LLM 역할극에만 관심 있는 사람도 아닙니다(비난하는 건 아닙니다, 각자 삶을 사세요!). 하지만 지난 몇 년 동안 호기심 기반으로 만져본 양을 고려할 때, 저는 일반 대중보다 비교적 지식이 있다고 말씀드릴 수 있습니다. 두 번째 고백은 이것입니다: 저는 인프라 구축과 로컬 모델의 첫 단계 작업을 위해 최첨단 AI를 사용합니다. 네, 저는 100% 로컬만 사용하는 것은 아닙니다. 문제는 이렇습니다: 저는 로컬 모델이 도구 사용 및 기본적인 컴퓨터 작업에는 확실히 신뢰할 수 있지만, 대규모 코딩 프로젝트(제가 가진 경우는 매우 적지만)에는 그렇지 않다는 것을 발견했습니다. 그렇다고 해도, 저는 파일 조작, 도구 사용 및 문제 해결을 넘어선 저의 로컬 모델의 코딩 능력에는 별로 관심이 없습니다.
하지만 저는 코더가 아니라서 에이전트들이 작동할 결정론적 시스템을 만드는 데 어려움을 겪습니다. 바로 이 지점에서 프런티어 AI(frontier AI)가 유용하게 활용됩니다. 배경 설명은 여기까지 하고, 제가 로컬 AI를 어떻게 사용하냐면요? 좋은 점부터 말씀드리자면, 처음에는 Hermes Agent였습니다. 정말 재미있었어요. 저는 일반적인 작업 수행에 놀라운 성능을 보여주는 에이전트(RTX 5090에서 구동되는 로컬 Gemma 4 31B Q4)를 설정했습니다. Signal 채팅을 사용해서 어디서든 접근할 수 있게 했고, 크론 잡(cron jobs)을 설정하고, 데스크톱의 파일에서 정보를 가져오게 했으며, 제가 가이드하는 SearXNG를 통해 리서치를 수행하게 했습니다. 그리고 무엇보다 중요한 것은 외부 데이터 추적 없이 제 삶에 대한 지속적이고 사적인 이해를 유지할 수 있었다는 점입니다 (Signal 메시지나 에이전트가 수행한 SearXNG 검색 또는 브라우저 방문을 통해 제공된 정보 외에는, 이들은 모두 암호화되어 있고 사적이라고 가정합니다). 더 좋은 점은요. 저는 재미 삼아 처음부터 다시 시작하기로 결정했습니다. 그래서 프런티어 AI를 사용해서 궁극의 NAS 홈 라이브러리를 구축하기로 했습니다. 이제 제 NAS에는 위키피디아, 지리 좌표와 연관된 위키피디아 기사를 나타내는 관심 지점(POI)이 있는 개인 구글 어스, 달과 화성을 위한 관련 POI가 있는 '구글 어스', 스택엑스체인지 복제본, 수십만 권의 책/보고서, 잡지, 고품질 역사 사진 갤러리, 그리고 박물관급 예술 작품 갤러리가 포함된 놀라운 프런티어 커스텀 라이브러리가 있습니다. 이를 통해 저는 3개의 로컬 에이전트 팀(GPT-OSS 120B Q4가 실행되는 Strix Halo 박스 2대, Gemma 31B Q4가 실행되는 RTX 5090 1대)을 운영하며 제 테라바이트 분량의 자료를 읽고 책 속 이미지, 인용구, 흥미로운 사실 정보, 그리고 작품 간 연결 고리를 추출하게 했습니다. 저는 본질적으로 수십만 권의 책을 검토하는 지루한 작업을 에이전트들에게 맡겼고, 제가 무엇을 더 많이 읽거나 즐길지 결정할 수 있는 맞춤화된 이점을 얻게 되었습니다.
저에게는 또한 라이브러리에 관한 질문에 답하거나(관련 도서, 인용구 또는 링크 찾기) 단순히 대화할 수 있도록 준비된 에이전트가 하나 있습니다. 저는 본질적으로 집 안의 벽 안에 저만의 인터넷을 만들었는데, 이 시스템은 알고리즘적으로 저를 속여 제 주의력을 팔지 않습니다. 다크 패턴(dark patterns), 광고, FOMO(놓치는 것에 대한 두려움), 또는 짧은 형식으로 주의력을 감소시키는 영상이 없습니다. 저는 저만의 디지털 공간에서 시간을 보내고 싶었고, 이것은 제가 스스로에게 한 가장 좋은 일 중 하나입니다. 제가 지불한 유일한 비용은 $20 구독에 할당된 전체 프론티어 토큰(frontier tokens) 금액도 아니었으며, 이 시스템을 구축한 프론티어 회사에 제 프로젝트 정보를 제공하는 것이었습니다. 궁금한 점이 있으면 알려주세요. 제출자: /u/GunmetalZen [링크] [댓글]