2024-2025년 AI 에이전트(AI Agent) 붐은 거대한 프라이버시 역설을 만들어내고 있습니다. 민감한 작업을 처리하기 위해 에이전트에 더 많이 의존할수록, 우리는 점점 더 많은 데이터를 제3자의 "에이전트 호스팅 서비스(Agent hosting services)"에 넘겨주어야 하는 상황에 처하게 됩니다.

에이전트에게 이메일 접근 권한을 부여하시겠습니까? 캘린더 접근 권한? 파일 시스템 접근 권한? 모든 개별 권한은 당신의 데이터가 누군가의 GPU 위에서 노출된 채 실행되고 있음을 의미합니다.

이는 과장된 경고가 아닙니다. OpenAI, Anthropic, Google이 "에이전트 역량(Agent capabilities)"을 밀어붙이는 동안, 의도적으로 간과되고 있는 질문이 떠오르고 있습니다: 당신의 에이전트 프로세스는 누구의 서버에서 실행되고 있는가?

다행히도, 조용한 "에이전트 로컬화(Agent Localization)" 움직임이 형성되고 있습니다. 여기 주목할 만한 세 가지 프로젝트가 있습니다. 각 프로젝트는 데이터 센터가 아닌 당신의 기기에서 에이전트를 실행하는 방법이라는 동일한 질문을 서로 다른 각도에서 다루고 있습니다.

1. Gander — 로컬 에이전트 런타임 (Local Agent Runtime)

Gander는 인프라 계층, 즉 LLM 추론(inference), 도구 호출(tool calling), 메모리 관리(memory management)를 모두 기기 내부(on-device)에서 처리하는 문제를 해결합니다.

이것은 채팅 제품이 아닙니다. 개발자 대상의 에이전트 런타임(Agent Runtime)입니다. "에이전트를 위한 Docker"라고 생각하면 됩니다. 모델 로딩, 컨텍스트 관리(context management), 플러그인 시스템을 래핑하여 개발자가 데이터를 클라우드로 전송하지 않고도 사용자의 기기에 에이전트 로직을 배포할 수 있게 합니다.

주요 특징:

• 로컬 우선 추론(Local-first inference): Ollama, llama.cpp 및 기타 로컬 백엔드 지원
• 플러그인 기반 툴체인(Plugin-based toolchain): 에이전트가 로컬 파일 시스템, 브라우저, 터미널에 접근
• 데이터의 기기 내 유지: 모든 컨텍스트 메모리는 로컬 SQLite / 벡터 DB(vector DB)에 저장

Gander의 비전은 명확합니다: 에이전트는 누군가의 클라우드가 아니라, OS처럼 당신의 하드웨어에서 실행되어야 합니다.

2. MarbleOS — 당신의 기기 위에서 동작하는 에이전트 OS

MarbleOS는 Gander보다 더 나아갑니다. 단순한 런타임이 아니라, 로컬 AI 기반의 완전한 운영체제(operating system) 경험을 제공합니다.

핵심 철학: 당신의 AI 어시스턴트는 당신의 파일, 앱, 하드웨어와 동일한 환경에 존재해야 합니다. MarbleOS는 로컬 LLM을 깊이 통합하여 "AI 네이티브 데스크톱(AI-Native Desktop)"을 구축합니다. 모든 데이터가 당신의 하드 드라이브에 머무는 상태에서 파일을 검색하고, 문서를 요약하며, 에이전트를 통해 워크플로우를 자동화할 수 있습니다.

이 시스템의 프라이버시 아키텍처(privacy architecture)는 특히 주목할 만합니다: "로컬 우선(local-first) + 선택적 클라우드 증강(optional cloud augmentation)" 방식입니다. 기본적으로 모든 것은 로컬에서 실행됩니다. 클라우드 API는 사용자의 명시적인 선택(opt-in)이 있을 때만 호출됩니다.

3. Lumichats — 종단간 암호화 (End-to-End Encrypted) 에이전트 통신

Gander와 MarbleOS가 "에이전트가 어디에 거주하는가?"라는 질문에 답한다면, Lumichats는 "에이전트가 누구와 대화하는가?"라는 질문에 답합니다.

당신의 에이전트가 다른 에이전트나 사용자와 협업할 때, 통신 보안은 새로운 공격 표면(attack surface)이 됩니다. Lumichats는 종단간 암호화(E2E encrypted) 에이전트 통신 프로토콜을 제공합니다. 메시지가 중계 서버(relay servers)를 거치더라도, 승인되지 않은 제3자는 이를 읽을 수 없습니다.

이는 멀티 에이전트(multi-agent) 시나리오에서 매우 중요합니다. 당신의 개인 에이전트가 진료 예약을 위해 의료 에이전트와 건강 데이터를 공유한다고 가정해 보십시오. 전송 중인 메시지를 어떠한 중간자도 보지 못하게 하는 것이 절대적으로 필요합니다.

이것이 지금 중요한 이유

세 가지 트렌드가 수렴하고 있습니다:

1. 에이전트 능력의 폭발적 성장: 2025년의 에이전트들은 복잡한 다단계 작업을 처리합니다. 이는 에이전트가 점점 더 민감한 데이터에 접근해야 함을 의미합니다.
2. 규제 강화: GDPR, 중국의 PIPL 및 유사한 법률들은 더 엄격한 데이터 현지화(data localization)를 요구합니다.
3. 엣지 컴퓨팅(Edge compute)의 성숙: Apple Silicon, Qualcomm Snapdragon X 덕분에 로컬 LLM 추론(inference)은 "실행되는 수준"을 넘어 "실제로 사용 가능한 수준"이 되었습니다.

Gander, MarbleOS, 그리고 Lumichats는 각각 다른 각도에서 이러한 수렴 현상에 대응합니다. 이들은 함께 에이전트가 집, 즉 당신의 기기로 돌아오고 있는 모습을 보여줍니다.

모두가 에이전트가 무엇을 할 수 있는지 묻고 있습니다. 어쩌면 더 나은 질문은 이것일지도 모릅니다: 당신의 에이전트는 누구의 서버를 집이라고 부릅니까?

이 기사는 공식 문서와 커뮤니티의 공개된 정보를 바탕으로 작성되었습니다. 더 많은 로컬 우선(local-first) 에이전트 프로젝트를 알고 있다면 댓글로 알려주세요.