mac-computer-use: Agent가 Mac을 직접 조작할 수 있게 하는 도구

mac-computer-use는 에이전트(Agent)에게 창 열기 및 닫기, 입력, 클릭, 스크린샷 등을 지원하는 일련의 도구를 제공합니다.

스킬(Skill) 형태로 패키징되어 Claude Code, Codex, Cursor, 豆包 등 다양한 Agent 도구에 연결하여 사용할 수 있습니다.

참고 사진을 제공하면 에이전트가 자체적으로 브라우저에서 회전하며 볼 수 있는 3D 전시 공간을 만들고, 편집 가능한 Blender 소스 파일까지 함께 생성합니다.

삼각형 면(triangular faces) 3388개, 메쉬(meshes) 117개를 가진 이 모든 과정은 사람이 마우스를 만지지 않고도 12분 만에 완료되었습니다.

GitHub:
http://github.com/To3akaRin/mac-computer-use
...
이 도구가 일반적인 컴퓨터 제어 도구보다 더 나은 점은 검증(verification) 단계입니다. 모든 쓰기 작업(write operation)을 수행하기 전에 실제로 클릭하지 않고 먼저 미리보기(preview)를 한 후, 작업 후에 결과를 읽어와서 검증합니다.

결과가 확실하지 않으면 멈추고 무작정 재시도하지 않습니다.

포그라운드(foreground) 사용이 필요할 때도 규칙을 따릅니다. 2초 이상 손의 움직임이 멈출 때까지 기다렸다가 행동하며, 최대 15초를 기다립니다. 키보드를 만지는 즉시 자리를 비키고, 작업을 마친 후에는 포커스를 되돌려줍니다.

모든 도구는 기기에서 로컬로 실행되므로 서비스를 시작하거나 키(key)가 필요 없습니다. macOS 14 이상이 필요하며, 처음 사용할 때는 접근성 및 화면 녹화 권한을 부여해야 합니다.

2분짜리 과학 대중화 쇼트 비디오를 만드는 과정은 스크립트 작성, 샷 분할, 이미지 소싱, 더빙, 편집의 다섯 단계로 이루어집니다. 만약 한 사람이 처음부터 끝까지 모든 것을 처리한다면 반나절이 지나갑니다.

PRINTFILM은 이 전체 과정을