Molayo

© 2026 Molayo

HN요약2026. 05. 03. 13:08

Show HN: Agent-desktop – AI 에이전트를 위한 네이티브 데스크톱 자동화 CLI

요약

agent-desktop은 Rust로 구축된 AI 에이전트를 위한 네이티브 데스크톱 자동화 CLI 도구입니다. 이 도구는 OS 접근성 트리를 활용하여 스크린샷이나 픽셀 매칭 없이 모든 애플리케이션에 구조적이고 안정적인 방식으로 상호작용할 수 있게 합니다. 특히 C-ABI 라이브러리(cdylib)를 제공함으로써 Python, Swift, Go 등 다양한 언어에서 CLI를 포크하지 않고 효율적으로 호출하여 AI 에이전트 워크플로우의 성능과 확장성을 극대화합니다.

핵심 포인트

  • **접근성 기반 자동화:** 스크린샷이나 픽셀 매칭에 의존하지 않고 OS 접근성 API를 통해 모든 애플리케이션(Finder, Safari 등)을 구조적으로 제어할 수 있습니다.
  • **네이티브 Rust 성능 및 효율성:** 빠르고 단일 바이너리로 배포되며, C-ABI 라이브러리를 통해 다양한 언어에서 프로세스 간 통신 오버헤드를 최소화합니다.
  • **AI 에이전트 최적화 워크플로우:** 결정론적 요소 참조(`@e1`)와 구조화된 JSON 출력을 제공하여 AI가 복잡한 작업을 수행할 때의 안정성과 추론 능력을 높입니다.
  • **다중 언어 통합 지원:** Python, Swift, Go 등 주요 프로그래밍 언어에서 `cdylib`를 로드하여 에이전트 기능을 쉽게 통합할 수 있습니다.

OBSERVE. DECIDE. ACT.

agent-desktop 은 Rust 로 구축된 AI 에이전트를 위한 네이티브 데스크톱 자동화 CLI 입니다. OS 접근성 트리를 통해 모든 애플리케이션에 구조화된 접근을 제공하며, 스크린샷이나 픽셀 매칭 없이 브라우저도 필요 없습니다.

네이티브 Rust CLI

  • 빠르고 단일 바이너리이며 런타임 의존성이 없음
  • C-ABI cdylib (libagent_desktop_ffi): 호출마다 CLI 를 포크하는 대신 Python / Swift / Go / Ruby / Node / C 에서 한 번 로드
  • 53 개 명령어: 관찰, 상호작용, 키보드, 마우스, 알림, 클립보드, 윈도우 관리
  • 진행적 스켈레톤 탐색: 밀집된 애플리케이션에서 얕은 개요 + 표적화된 디릴다운을 통해 78–96% 토큰 감소
  • 스냅샷 및 refs: 결정론적 요소 참조 (@e1, @e2) 를 사용한 AI 최적화 워크플로우
  • AX-first 상호작용: 모든 동작이 마우스 이벤트로 되돌아가기 전에 순수 접근성 API 전략을 고갈시킴
  • 구조화된 JSON 출력: 오류 코드와 복구 힌트가 포함된 기계 가독성 응답
  • 모든 애플리케이션과 호환: Finder, Safari, System Settings, Xcode, Slack — 접근성 트리가 있는 모든 것

설치

npm install -g agent-desktop # 사전 구축 바이너리를 자동으로 다운로드

또는 설치 없이:

npx agent-desktop snapshot --app Finder -i

git clone https://github.com/lahfir/agent-desktop
cd agent-desktop
cargo build --release
cp target/release/agent-desktop /usr/local/bin/

Rust 1.78+ 와 macOS 13.0+ 가 필요합니다.

macOS 는 접근성 권한이 필요합니다. 터미널 앱을 추가하여 System Settings > Privacy & Security > Accessibility 에서 권한을 부여하거나:

agent-desktop permissions --request # 시스템 대화상자 트리거

각 GitHub 릴리스는 CLI 타르볼과 함께 사전 구축된 C-ABI cdylib 을 제공합니다. 프로세스 내 호출이 필요한 호스트 (Python 에이전트, Swift 앱, Go 서비스, Node 도구, Ruby 스크립트, C/C++ 코드) 는 dylib 을 dlopen 하고 agent_desktop.h 에 선언된 함수를 호출하며, 명령어당 포크-실행을 수행하지 않습니다.

플랫폼 아티팩트

PlatformArtifact
macOS arm64agent-desktop-ffi-v<ver>-aarch64-apple-darwin.tar.gz
macOS x86_64agent-desktop-ffi-v<ver>-x86_64-apple-darwin.tar.gz
Linux x86_64 (glibc)agent-desktop-ffi-v<ver>-x86_64-unknown-linux-gnu.tar.gz
Linux arm64 (glibc)agent-desktop-ffi-v<ver>-aarch64-unknown-linux-gnu.tar.gz
Windows x86_64 (MSVC)agent-desktop-ffi-v<ver>-x86_64-pc-windows-msvc.zip

각 아카이브에는 lib/libagent_desktop_ffi.{dylib,so,dll}, include/agent_desktop.h, LICENSE, 그리고 짧은 README 가 포함되어 있습니다. 릴리스의 checksums.txt 로 다운로드를 확인하세요:

shasum -a 256 -c checksums.txt
ggh attestation verify agent-desktop-ffi-v*.tar.gz --repo lahfir/agent-desktop # Sigstore provenance

Python 통합

최소한의 Python 라운드트립:

import ctypes
lib = ctypes.CDLL("./lib/libagent_desktop_ffi.dylib")
lib.ad_adapter_create.restype = ctypes.c_void_p
adapter = lib.ad_adapter_create()
# ... call ad_list_apps / ad_get_tree / ad_execute_acti

AI 자동 생성 콘텐츠

본 콘텐츠는 HN Claude Code Search의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
6

댓글

0