Show GN: OpenPhoneUse – 화면을 보고 직접 탭하는 모바일용 Computer Use

요약

OpenPhoneUse의 Computer Use는 AI 에이전트로, PC처럼 안드로이드 화면을 보고 직접 조작하는 모바일 자동화 도구입니다. 음성 명령에 따라 앱 간 이동, 탭, 스크롤 등을 수행하며, ADB나 루트 권한 없이 접근성 서비스만으로 단독 동작할 수 있다는 것이 주요 특징입니다.

핵심 포인트

• 접근성 서비스만을 이용해 PC 연결(ADB) 없이 단독 구동 가능 (Android 11+).
• 접근성 트리와 스크린샷을 결합하여 아이콘, 지도 등 다양한 요소를 인식함.
• ChatGPT, OpenAI, Claude 등 여러 LLM API 키를 활용할 수 있음.
• 결제나 보안 설정 변경 시에는 반드시 사용자 확인 절차를 거침.