big-arrow-on-the-screen - AI 에이전트가 Mac 화면에서 클릭할 곳을 가리키는 도구

AI 에이전트가 사람의 조작이 필요한 버튼과 창을 Mac 화면 위의 큰 화살표와 안내 문구로 가리키는 CLI 로, Claude Code와 Codex용 스킬 제공
권한 승인, 2FA, 결제 확인, 서명처럼 사람이 처리할 단계를 안내하며, 도구 자체는 클릭하거나 입력하거나 화면을 캡처하지 않음
좌표, 창, UI 요소 이름, Peekaboo 결과로 대상을 지정하고, 창 이동에 따른 추적과 자동 종료 지원
화살표와 원형/상자형 테두리, 음성 안내, 여러 표시의 동시 사용을 지원하며, 안내 문구에 코드나 URL을 복사하는 버튼 도 넣을 수 있음
Swift 바이너리로 동작하고 계정이나 내장 AI가 없으며, 그리기 자체에는 macOS 권한이 필요 없음 . UI 요소 탐색 등 일부 기능에는 손쉬운 사용 또는 화면 기록 권한 필요
“Allow를 누르세요” 대신 화면에서 직접 가리키기
에이전트가 터미널에 안내만 남기는 대신, 실제 앱의 버튼과 창 위에 화살표와 안내판을 표시
macOS 권한 요청, OAuth 동의, 2FA, CAPTCHA, 패스키, 결제와 서명 등 사람이 직접 처리할 단계를 안내하는 용도
사용자가 조작하면 표시를 지우고 에이전트 작업을 이어가는 흐름으로 활용 가능
설정 방법과 앱 사용법을 단계별로 안내하거나, 원격 지원과 화면 공유에서 특정 버튼을 가리키는 데도 사용
예를 들어 Keynote의 애니메이션 설정을 순서대로 안내하거나, TextEdit의 인쇄 대화상자에서 PDF 저장 버튼을 강조 가능
음성 안내로 화면에서 떨어져 있는 사용자를 부르거나, 안내판의 복사 버튼으로 코드, URL, 명령을 전달 가능
대상 추적과 표시 제어
화면 좌표, 사각 영역, 마우스 위치, 앱의 창, UI 요소 이름으로 대상 지정
Peekaboo 의 see --json

결과도 대상 정보로 사용 가능
필요한 앱과 창, Chrome/Safari 탭을 앞으로 가져온 뒤 표시할 수 있으며, 창을 앞으로 가져오지 않는 방식도 선택 가능
대상 창이나 요소가 이동하면 표시가 따라가고, 다른 앱에 가려지면 숨었다가 다시 보일 때 나타남
시간제한, 대상 클릭, 에이전트 프로세스 종료, 사용자 응답 후 세션 훅 등으로 표시를 제거 가능
화살표, 원형 테두리, 상자형 테두리를 지원하며, 색상과 크기, 모양을 조정하고 여러 안내판이 겹치지 않도록 배치
화면 녹화에서 강조 표시로 쓰거나, 문서용 화살표를 PNG로 렌더링 가능
포커스와 클릭 처리
오버레이는 다른 창 위에 표시되지만 키보드 포커스를 가져가지 않음
대상과 화살촉 주변의 클릭은 아래 앱으로 전달
안내판이나 화살표 몸통을 클릭하면 표시가 사라지므로, 모든 영역이 클릭을 통과시키는 것은 아님
여러 디스플레이, 전체 화면 앱, Stage Manager와 Spaces 지원
권한과 지원 환경
화살표를 그리는 것 자체에는 손쉬운 사용이나 화면 기록 권한이 필요 없음
UI 요소를 이름으로 찾거나 대상 클릭을 감지하는 기능 등에는 손쉬운 사용 권한 필요
macOS 26에서 창 제목으로 대상을 찾는 기능에는 화면 기록 권한도 필요
권한은 bigarrow

자체가 아니라 Terminal, iTerm2, Ghostty, VS Code 등 명령을 실행한 앱 에 부여
Chrome 페이지 내부의 요소 탐색은 --force-renderer-accessibility

로 실행하거나 VoiceOver를 켠 환경에서 가능
Chrome 도구 모음의 요소는 탐색 가능
페이지 내부 요소를 찾을 수 없으면 좌표로 지정 가능
Swift로 구현했으며, 소스 빌드 기준 macOS 14 이상과 Xcode 16 이상 필요
데몬, 메뉴 막대 아이콘, 계정, 텔레메트리, 내장 AI 없이 동작하며 MIT 라이선스
에이전트 스킬과 추가 자료
Claude Code와 Codex용 스킬은 언제 사람에게 조작을 넘길지, 무엇을 가리킬지, 클릭의 의미를 어떻게 안내할지, 언제 표시를 지울지 를 포함
다중 디스플레이 검증표 와 시각 검증 워크플로 에서 지원 환경과 동작 검사 확인 가능
스킬 실행 기록 에는 새 에이전트가 Chrome의 Reload 버튼을 이름으로 찾아 표시한 과정 포함
기존 도구 조사 를 거쳐 설계했으며, Peekaboo와 Nameplate 의 오버레이 구현과 스킬 패키징을 참고
댓글과 토론