Vercel이 여러분의 AI 에이전트에게 전체 데스크톱을 위한 상호작용 능력을 제공했습니다. 이제 스크린샷도, 픽셀 추측도 필요 없습니다. 🖥️ 24.8K stars.
agent-desktop은 AI 에이전트를 위한 컴퓨터 사용 도구입니다: 이는 데스크톱 앱의 접근성 트리(accessibility tree)를 JSON으로 읽고, 모든 요소에 참조(ref)를 부여하며, 에이전트가 이 참조를 클릭하거나 타이핑합니다. 이후 다시 읽어 검증합니다.
❌ 스크린샷과 픽셀 좌표를 통해 데스크톱을 구동하는 에이전트 — 느리고 불안정하며 토큰 소모가 심함
❌ 창 이동 때문에 잘못된 버튼에 '성공'한 클릭
❌ 모델 내부, 클라우드 계정 또는 VM이 필요한 컴퓨터 사용 도구
✅ 실제 구조, 픽셀이 아님: OS 접근성 트리(accessibility tree)를 JSON으로, 요소당 하나의 참조(ref) — macOS, Windows, Linux 지원
✅ 루프가 에이전트에 존재함: 모델 내부나 계정이 필요 없음 — CLI와 C 라이브러리만 있으면 됨
차별화되는 점:
🎯 좌표가 아닌 참조(Refs): click @s8f3k2p9:e8을 클릭하면, 만료된 참조는 잘못된 것을 클릭하는 대신 명확하게 실패합니다 (STALE_REF).
👻 기본적으로 헤드리스(Headless) 작동: 액션은 포인터를 움직이거나 포커스를 빼앗지 않고 접근성 API를 사용합니다 (--headed 옵션으로 실제 입력 가능)
🧭 밀집된 앱, 먼저 매핑: snapshot --skeleton은 앱을 매핑하고, --root로 한 영역에 깊이 들어갑니다.
🔌 MCP 내장: agent-desktop mcp는 모든 명령어를 모든 MCP 클라이언트의 도구(tool)로 제공합니다.
🚀 시작하기:
1️⃣ 설치: npm install -g agent-desktop (또는 macOS/Linux에서 brew install agent-desktop)
2️⃣ 환경 설정 확인: agent-desktop status — macOS의 경우, agent-desktop permissions --guide가 접근성 권한 부여 과정을 안내합니다.
3️⃣ 구동하기: agent-desktop snapshot --app Finder -i → agent-desktop click @s8f3k2p9:e8 → 검증을 위해 다시 스냅샷 촬영
⚠️ 솔직한 주의사항: macOS는 먼저 접근성 권한 부여가 필요하며, 참조(refs)는 해당 스냅샷에 속합니다 — UI 변경 후에는 재스냅샷이 필요할 수 있습니다. 스냅샷은 개인 데스크톱 콘텐츠를 포함할 수 있으므로 공개 로그에는 보관하지 마십시오.
⭐ 24,847 stars (2026년 11월 17일) · Apache-2.0
#AI #OpenSource #GitHub #AIAgents #Vercel
🔗 https://t.co/4i1ekf4Qgs