Hermes Agent가 이제 Windows 및 Linux에서 Computer Use를 지원합니다: 작업 중 백그라운드에서 데스크톱 클릭

HERMES AGENT가 이제 Windows 및 Linux에서 COMPUTER USE를 지원합니다.
당신이 작업하는 동안 백그라운드에서 데스크톱을 클릭하고, 타이핑하고, 스크롤합니다.

computer use는 macOS 전용이었습니다.
이제 @trycua를 통해 Windows와 Linux에서도 작동합니다. @NousResearch

작동 방식:

cua-driver가 MCP 서버로 실행됩니다.
Hermes가 번호가 매겨진 요소가 포함된 스크린샷을 찍습니다.
요소 #14(검색 필드)를 클릭합니다.
쿼리를 입력합니다. 제출합니다. 결과를 읽습니다.

이 모든 과정 동안:
→ 당신의 커서는 원래 있던 위치에 그대로 유지됩니다
→ 키보드 포커스(keyboard focus)가 바뀌지 않습니다
→ 창이 맨 앞으로 나오지 않습니다
→ macOS의 Spaces가 전환되지 않습니다

당신과 에이전트가 동일한 머신에서 협업합니다.

할 수 있는 일:

→ 최신 Stripe 이메일을 찾아 요약하기
→ API가 없는 웹 앱의 양식 채우기
→ 데스크톱 앱(Mail, 브라우저, Finder) 탐색
→ 모든 GUI 애플리케이션과 상호작용
→ 화면을 통해서만 접근 가능한 앱에서 데이터 추출

모든 비전 모델(Vision Model)과 호환:

Anthropic에 종속되지 않습니다.

제공자 (Provider)	작동 여부
Claude (Sonnet/Opus)	전반적으로 가장 좋음
...

설정:

hermes computer-use install

또는: hermes tools → Computer Use → cua-driver

요청 시 권한을 허용하세요:
→ 접근성 (Accessibility) (시스템 설정)
→ 화면 기록 (Screen Recording) (시스템 설정)

세션 시작:
hermes -t computer_use chat

또는 영구적으로 활성화하려면 config.yaml / 데스크톱 앱 설정에 추가하세요.

안전성:

→ 파괴적인 작업은 당신의 승인이 필요합니다
→ 차단된 키 조합: 휴지통 비우기, 강제 삭제, 화면 잠금, 로그아웃
→ 차단된 타이핑 패턴: curl | bash, sudo rm -rf /, fork bombs
→ 에이전트는 권한 승인 대화 상자를 클릭할 수 없습니다
→ 에이전트는 비밀번호를 입력할 수 없습니다
→ 에이전트는 스크린샷에 포함된 명령을 따를 수 없습니다

모든 클릭을 확인하고 싶다면 approvals.mode: manual과 함께 사용하세요.

토큰 참고 사항:

스크린샷은 비용이 많이 듭니다.
각 스크린샷은 컨텍스트(context)에 비전 토큰(vision tokens)을 추가합니다.
API가 없는 작업에 computer_use를 사용하세요.
도구에 API나 MCP 서버가 있다면 대신 그것을 사용하세요.

Hermes Agent의 15단계👇