LM Studio의 Gemma 4 13B QAT를 통해 M4 Pro에서 추론을 실행하며 격리된 VM에서 구동되는 Open Computer

안녕하세요 여러분,

지난 2.5년 동안 생산적인 온디바이스 에이전트(on-device agent) 및 AI 어시스턴트 경험을 구축해 온 AnythingLLM의 Tim입니다. 비기술자들을 위한 에이전트 UX(User Experience)와 관련하여 저희가 진행 중인 새로운 실험에 대해 이야기해보고자 합니다.

에이전트 하네스(agent harnesses)의 강력함은 에이전트에게 부여된 권한만큼만 발휘된다는 점은 명확합니다. 에이전트가 최대한 유용하게 작동하려면, CLI(Command Line Interface) 또는 API 호출이 실패할 때 앱을 설치하고 UI(User Interface)를 조작할 수 있도록 기본적으로 PC 전체에 대한 소유권을 가져야 합니다.

이것이 에이전트를 사용하는 안전한 방법이 아니라는 점은 분명하며 우리 모두가 알고 있습니다. 우리는 Apple의 Containers, Microsoft MXC, 심지어 Docker Sandboxes와 같이 쏟아져 나오는 다양한 "에이전트 컨테이너(agent containers)"들을 보아왔습니다. 이들 각각은 단순히 에이전트를 마이크로 VM(micro-vm)으로 감싸는 방식이며, 이는 올바른 방향으로 나아가는 단계입니다.

하지만 제가 제기하는 문제는 에이전트가 사용자에게 보여주는 경험입니다. 에이전트가 일반적인 인간은 이해할 수 없는 명령들을 맹목적으로 실행할 때, 터미널 같은 출력물이 콘솔로 쏟아지는 동안 사용자가 들여다보거나 관찰할 수 있는 것은 기본적으로 아무것도 없습니다. 그 결과물이 토큰(tokens) 값을 할 만한 가치가 있기를 바랄 뿐입니다.

저희는 사용자에게 일반적인 컴퓨터 인터페이스를 노출할 방법이 있는지 확인하고 싶었습니다. 기본적으로 인간에게는 실제 컴퓨터처럼 보이고, 느껴지고, 작동하지만, 에이전트 하네스가 마음껏 활동할 수 있도록 갖춰진 에이전트 컨테이너를 말합니다.

그것이 바로 Open Computer입니다. 인간이 관리할 수 있으면서 에이전트에게는 유용한 컴퓨터입니다. 다만, 거의 모든 하네스가 유용해지기 위해서조차 256K 컨텍스트(context)를 가진 대규모 모델을 요구하는 것처럼 보이기 때문에, 저희는 이러한 Perplexity Computer의 개념을 로컬 AI로 가져오고 싶었습니다.

위 영상은 32K 컨텍스트에서 작동하는 Gemma 4 13B QAT이며, 실제로 작동합니다!

이 시스템은 브라우저를 조작할 수 있으며 (raw browser-use 방식보다 토큰을 50% 이상 적게 사용합니다!), 네이티브 앱의 데이터를 입력하기 위해 네이티브 앱의 접근성 트리 (accessibility trees)를 활용하며, 작은 컨텍스트 창 (context windows)에 특화되어 미리 구성된 다양한 도구들을 갖추고 있습니다. 이렇게 설계함으로써 컨텍스트 팽창 (context bloat)을 방지하기 위해 컨텍스트를 공격적으로 가지치기 (prune) 하므로, 이를 대규모 클라우드 모델에 연결할 때 비용을 절감할 수 있습니다.

각 에이전트 컴퓨터가 상속받는 "기본 (base)" 이미지는 약 3GB입니다. 에이전트 자체는 약 100MB의 공간만 차지하며, 이는 RAM 용량보다도 적습니다. 또한 디스크는 크기를 작게 유지하기 위해 공격적으로 압축되어 있어, 사용자가 부여한 작업을 수행하기 위해 얼마나 많은 것들을 설치하더라도 크기가 작게 유지됩니다.

컴퓨터 자체는 매우 가볍습니다:

• Debian 13.5
• Windows 10처럼 보이도록 "Riced"된 XFCE4
• 주요 하네스 (harness)로 Pi.dev 사용
• 에이전트 컴퓨터와 격리되어 구축된 Hermes 메모리 및 관리 UI 포함

이 시스템의 추론 (inference)은 VM (가상 머신)에 대해 100% 불가지론적 (agnostic)입니다. 따라서 로컬 컴퓨팅을 사용하여 한 에이전트의 추론을 실행하고, 다른 에이전트는 클라우드나 로컬 서버를 사용하는 등의 방식이 가능합니다. 이 모든 것들은 완전히 가상화되어 호스트 시스템에 해를 끼칠 수 없는 고유한 격리된 컴퓨터를 가집니다.

우리가 이 방식을 선택한 또 다른 이유는, 컴퓨터 사용 (computer use) 패러다임이 개념적으로 기능적 결함이 있기 때문입니다. 키보드와 마우스를 탈취하여 스크린샷에만 전적으로 의존해 버튼을 클릭하려고 애쓰는 LLM (대규모 언어 모델)은 지켜보기에 답답할 뿐만 아니라 엄청난 토큰 낭비를 초래합니다. Open Computer는 탐색을 위해 아무것도 스크린샷을 찍지 않습니다.

마지막으로, 우리는 인간을 이 과정의 중심에 두고 싶었습니다. 따라서 에이전트가 사용자에게 알림을 보내고, 사용자가 웹사이트 로그인, 캡차 (captcha) 해결 등 에이전트가 난관에 봉착했을 때 합리적인 방식으로 컴퓨터에서 개입할 수 있도록 하는 전체 UI/UX가 마련되어 있어, 이제 인간과 에이전트가 협력하여 문제를 해결할 수 있습니다.

이 모든 것은 AnythingLLM 내에서 오픈 소스로 구축되고 있습니다: https://github.com/Mintplex-Labs/anything-llm/blob/master/open-computer/README.md - 이 프로젝트에 관심이 있다면 스타 (star)를 눌러주시는 것이 큰 도움이 됩니다.

우리는 이상적으로 앱 내부에 UI를 구축하여 사용자가 에이전트(agent)를 위해 이러한 컴퓨터를 쉽게 생성(spin up)하거나 종료(spin down)할 수 있고, NPU를 포함한 사용자의 로컬 하드웨어로 구동할 수 있기를 바랍니다.

하지만 Open Computer는 누구에게나 열려 있으며 어디에서나 구현될 수 있습니다. 심지어 여러분이 사용 중인 호스트 에이전트 하네스(host agent harness)에 의한 MCP(Model Context Protocol)로도 구현될 수 있습니다. 밑바닥까지 전부 에이전트인 셈이죠, 하하.

어쨌든, 이 컨셉에 대해 사람들이 어떻게 생각하는지 알고 싶습니다. 저는 에이전트가 수행하는 작업을 "보고", 클릭해 보고, 읽는 과정을 정말 즐기고 있습니다. 이는 단순히 제가 원하는 것을 주기를 바라며 실행되는 블랙박스(black box)라기보다는, 협업(coworking)에 더 가깝게 느껴집니다.

이 모든 것은 아직 매우 초기 단계이므로, 분명히 버그와 개선할 점들이 있습니다!
제출자: /u/tcarambat
[링크] [댓글]