지난 2주 동안 Perplexity, Claude, ChatGPT를 전혀 사용하지 않았으며, 굳이 사용할 이유도 찾지 못했습니다.
저는 연구, 포트폴리오 관리, 저널링, 코딩 등을 처리하는 (거의) 완전한 프라이빗 (private) AI 개인 비서 스택을 운영하고 있습니다.
전체 스택은 다음과 같습니다:
- Hermes agent (에이전트 하네스 (agent harness))
- Venice (프라이빗하고 검열 없는 AI 추론 API (inference API))
- Honcho (행동 분석/장기 기억 (long term memory))
- Obsidian (지식 저장소 (knowledge vault))
- qmd (온디바이스 검색 엔진, 텍스트 및 벡터 검색 모두 지원)
- browser-harness (CDP 브라우저 자동화, 에이전트가 인간처럼 웹을 탐색)
- Tavily (검색 API (search API))
- Codex (코딩, Venice의 프라이빗 코딩 모델 기반)
이 모든 것이 16GB MacBook Pro에서 돌아갑니다.
현재 클라우드로 오프로드(offloaded)된 접점은 단 두 곳(AI 추론 및 검색 API)뿐입니다. AI 추론은 하드웨어 제약 때문이며, 검색 API는 대안이 없기 때문입니다. 하지만 저는 Venice에서 순수하게 프라이빗/종단간 (e2e) 모델을 선택하고 있으며, 쿼리는 검색 API에 도달하기 전에 에이전트에 의해 필터링됩니다. 이러한 방식을 통해 데이터 유출을 최소화합니다.
또한 base:0xacfe6019ed1a7dc6f7b508c02d1b04ec88cc21bf를 락업(locking)하면 base:0xf4d97f2da56e8c3098f3a8d538db630a2606a024로 표시되는 일일 갱신 컴퓨팅 크레딧을 받는다는 점도 매우 놀랍습니다. 즉, 저는 매일 프라이빗하고 익명화된 SOTA 추론을 무료로 실행하고 있습니다.
물론, 완전한 프라이버시가 궁극적인 목표입니다. 저는 고복잡도 추론만을 Venice로 오프로드하면서 모든 것을 완전히 로컬(local)에서 실행하는 방향으로 천천히 나아가고 있습니다.
완전한 종단간 (e2e) 프라이빗 인텔리전스 스택을 완성하기 위해 마지막 격차를 메울 더 강력한 워크호스(workhorses)를 살펴보고 있습니다 (출시 예정인 M5 Studio Ultra 또는 SOTA 모델을 위한 리퍼비시 512GB 옵션을 눈여겨보고 있습니다).
AI 감시와 빅테크의 데이터 중앙화 시대에 자신의 데이터를 소유하는 것은 자신의 자산을 소유하는 것만큼이나 중요하다고 굳게 믿습니다.
우리가 수년간 말해왔듯이, "당신의 키가 아니라면, 당신의 코인이 아니다 (not your keys, not your coins)"와 같습니다. 모든 돈을 은행에 맡기지 않듯이, 왜 당신의 생각과 개인 정보를 OpenAI나 Anthropic에 맡기십니까?
아직 시작하지 않으셨다면, 꼭 한번 살펴보시기를 강력히 추천합니다.
기억하세요, 그것이 바로 우리가 애초에 암호화폐 (crypto)에 입문했던 이유입니다.