지난 몇 달 동안 저는 제 개인 AI 비서를 외부 클라우드 대신 자체 하드웨어에서 운영해 왔습니다. 그 이유는 무엇이며, 제가 무엇을 배웠는지 공유합니다.

클라우드 비서의 문제점

호스팅된 비서에게 공유하는 모든 메시지, 모든 선호도, 모든 맥락 정보는 다른 사람의 서버에 저장됩니다. 사용자는 데이터 보존 여부를 통제할 수 없고, 메모리를 검사할 수도 없으며, 이동시킬 수도 없습니다. 자신을 알아야 하는 도구에게 이 정도의 신뢰를 외부에 맡기는 것은 큰 문제입니다.

자체 호스팅이 바꾸는 것들

• 메모리가 로컬에 보관됩니다. 사실, 선호도 및 대화 기록은 사용자가 통제하는 백업과 함께 로컬 SQLite 데이터베이스에 저장됩니다.
• 자체 하드웨어에서 실행됩니다. 저렴한 VPS나 집의 미니 PC를 이용할 수 있으며, 공급업체 종속성(vendor lock-in)이 없습니다.
• 모델 교체가 가능합니다. 비서 레이어는 기반 LLM과 분리되어 있어 데이터를 잃지 않고도 제공업체를 변경할 수 있습니다.

설정 방법

제 시스템은 Telegram에서 작동하며 장기 기억을 유지하고, 스킬(캘린더, 메모, 브라우저 자동화, 알림)을 노출합니다. 이러한 접근 방식의 한 예는 avelina.ai입니다. 이는 데이터를 임대하는 것이 아니라 '소유'하길 원하는 사람들을 위해 설계된 영구 기억을 가진 자체 호스팅 개인 비서입니다.

핵심 요약

AI 비서를 자체 호스팅하는 것은 특정 회사를 불신해서가 아닙니다. 그것은 데이터 주권(data sovereignty)에 관한 문제입니다. 만약 어떤 비서가 당신이 누구인지에 대한 모델을 축적할 것이라면, 그 모델이 사용자가 통제하는 곳에 존재하는 것이 합리적입니다.

아키텍처에 대한 질문에는 댓글로 기꺼이 답변드리겠습니다.