Claude Code와 Codex는 이제 컴퓨터의 앱을 직접 제어할 수 있습니다—버튼 클릭, 양식 작성, 메뉴 전환 등 모든 것을 백그라운드에서 처리합니다. 설치는 단 두 개의 명령어만 필요합니다!
에이전트(Agent)가 컴퓨터를 제어하는 것에서 가장 짜증 났던 점은, 작동을 시작하자마자 마우스를 가로챘다는 것이었습니다.
Vercel Labs의 오픈 소스 에이전트 데스크톱(agent-desktop)이 이 문제를 훌륭하게 해결합니다: 사용자가 전경(foreground)에서 WeChat을 스크롤하거나 글을 쓰는 동안, 에이전트는 백그라운드에서 버튼을 클릭하고 양식을 작성하며 메뉴를 전환합니다. 두 작업은 서로 간섭하지 않습니다.
Apache-2.0 라이선스이며, macOS, Windows, Linux에서 작동합니다.
이 도구가 빠른 이유는 간단합니다: 대부분의 컴퓨터 사용은 이전에는 스크린샷을 찍고 모델이 어떤 좌표를 클릭해야 할지 추측하게 했습니다. 느렸고, 잘못된 지점을 클릭하기 쉬웠습니다.
agent-desktop은 스크린샷을 찍지 않습니다. 시스템의 접근성 트리(accessibility tree)를 직접 읽어옵니다—이는 화면 리더기(screen readers)가 사용하는 것과 동일한 인터페이스입니다—그리고 인터페이스의 모든 버튼과 텍스트 필드에 번호를 할당합니다. 에이전트는 이 번호를 이용해 클릭하고 타이핑하며, 결과를 확인하기 위해 다시 읽습니다.
백그라운드 모드가 기본값입니다: 마우스를 움직이거나 포커스를 훔치지 않습니다. 실제 물리적 마우스와 키보드가 필요한 경우에만 --headed를 추가하세요.
유용하게 만드는 몇 가지 특징:
→ 자체 모델을 포함하고 있지 않습니다. Claude Code나 Codex처럼 명령을 실행할 수 있는 모든 에이전트(Agent)가 직접 사용할 수 있습니다.
→ 각 명령을 도구로 사용하여 MCP 서버로 연결될 수도 있습니다.
→ 창 관리(window management), 클립보드, 알림, 메뉴 바 등 기본적인 모든 작업을 다룹니다.
→ npm으로 설치하면 사용 준비가 완료되며, 타사 앱의 런타임(runtime)에 의존하지 않습니다.
설치는 단 두 단계만 필요합니다:
npm install -g agent-desktop
agent-desktop permissions --guide
두 번째 명령어는 Mac에서 접근성 권한(Accessibility permissions)을 단계별로 활성화하는 방법을 안내합니다.
그런 다음, 에이전트(Agent)가 처음 사용하기 전에 내장된 사용 가이드(usage guide)를 읽도록 AGENTS.md 또는 CLAUDE.md에 한 줄을 추가하세요. 그 후에, 에이전트는 어떻게 사용하는지 알게 됩니다.
미리 알아야 할 점이 있습니다: 에이전트가 읽는 인터페이스 스냅샷, 클립보드 내용, 그리고 스크린샷에는 개인 정보가 포함될 수 있습니다. 저자는 문서(docs)에 이 점을 특별히 경고하고 있으니—이 로그를 공개적인 장소에 게시하지 마세요.
평소와 같이, 리포지토리(repo)와 원래의 AGENTS.md 지침은 첫 번째 댓글에 있습니다.
