Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 에이전트가 iOS, Android 등 다양한 OS 기기를 직접 제어하고 검증할 수 있도록 돕는 CLI 도구입니다. 접근성 스냅샷을 활용해 앱 상태를 파악하고, 탭·스크롤·입력 등의 동작을 수행하며 실패 원인을 진단합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기코딩 에이전트가 실행 중인 앱을 직접 검사/조작/검증하고 결과를 근거로 저장하도록 지원
iOS, Android, tvOS, Android TV, Amazon Vega OS TV, web, macOS, Linux 등 지원
토큰 효율적인 접근성 스냅샷을 읽고 ref 또는 selector로 요소를 찾아 기기 동작 실행
Vercel의
agent-browser에서 가져온 inspect-act-verify 프로세스를 모바일/TV/데스크톱 앱에 적용, 에이전트가 각 명령 결과를 읽고 다음 명령을 스스로 선택
에이전트들이 가능한 동작
앱 상태 검사: accessibility snapshot, ref, selector, React Native 컴포넌트 트리 확인
화면 UI 조작: 요소 탭/프레스, 필드 입력, 스크롤, 제스처, 대기, 상태 단언, 알림 처리
실패 진단: screenshot, video, log, trace, network 데이터, 성능 샘플, crash 상세, React profile 확보
워크플로우 반복: 정상 동작 단계를 .ad 스크립트로 저장해 로컬/CI에서 재현하거나 strict Maestro YAML로 내보내기
대상별 백엔드 사용: iOS/tvOS는
XCTest, Android는 ADB/snapshot helper, VVD는 Vega CLI/VDA, macOS는 로컬 helper, Linux는 AT-SPI
native iOS/Android 앱 및
React Native, Expo, Flutter 로 개발된 앱도 지원
Appium/Detox/Maestro 등은 테스트 스위트를 작성/유지하는 방식이지만, agent-device는
런타임에 상태를 읽고 명령을 선택하며 기존 도구를 보완하는 역할
Cursor, Codex, Claude Code, Windsurf 등 에이전트 터미널에서 실행 가능
MIT 라이선스