영어 · 중국어
<div align="center">
PhoneGo: 스마트폰용 개인 AI 에이전트
CLI+GUI · 빠르고 강력하며 신뢰할 수 있고 비용 효율적인 휴대폰 사용 에이전트
<p>
<a href="https://github.com/HKUDS/PhoneGo/releases/download/phonego-v0.4.0/PhoneGo-0.4.0-arm64.apk"><img src="https://img.shields.io/badge/%E2%AC%87%20%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C-PhoneGo%200.4.0%20%C2%B7%20Android-00d9ff?style=for-the-badge&logo=android&logoColor=white&labelColor=0b0f19" height="34" alt="Download PhoneGo 0.4.0 for Android"></a>
<a href="#-how-to-use-phonego"><img src="https://img.shields.io/badge/%F0%9F%93%96%20%EC%84%A4%EC%B9%98-%EA%B0%80%EC%9D%B4%EB%93%9C-4ecdc4?style=for-the-badge&logoColor=white&labelColor=1a1a2e" height="34" alt="Read the install guide first"></a>
</p>
<p>
<a href="./Communication.md"><img src="https://img.shields.io/badge/%F0%9F%92%ACFeishu-%EA%B7%B8%EB%A3%B9-07c160?style=for-the-badge&logoColor=white&labelColor=1a1a2e" height="22"></a>
<a href="./Communication.md"><img src="https://img.shields.io/badge/WeChat-%EA%B7%B8%EB%A3%B9-07c160?style=for-the-badge&logo=wechat&logoColor=white&labelColor=1a1a2e" height="22"></a>
<a href='https://arxiv.org/abs/2609.35671'><img src='https://img.shields.io/badge/%F0%9F%93%84arXiv-PhoneCLI_2609.35671-ff6b6b?style=for-the-badge&logo=arxiv&logoColor=white&labelColor=1a1a2e' height="22"></a>
<a href='https://arxiv.org/abs/2510.22009'><img src='https://img.shields.io/badge/%F0%9F%93%84arXiv-OpenPhone_2510.22009-8b5cf6?style=for-the-badge&logo=arxiv&logoColor=white&labelColor=1a1a2e' height="22"></a>
</p>
</div>
PhoneGo를 다운로드하여 안드로이드 폰에서 직접 실행하세요.
PhoneGo에게 원하는 것을 말해주세요. 적절한 앱을 열고 작동시키며, 작업을 완료하고 결과를 보고합니다.
- 다운로드 및 실행: 휴대폰에서 직접 실행할 수 있습니다.
- 작업 설명: 자연어로 할 일을 설명해 주세요.
- 앱 구동: PhoneGo가 관련 앱들을 작동시킵니다.
- 백그라운드 작동: PhoneGo는 백그라운드에서 작동하므로, 사용자의 휴대폰은 계속 사용할 수 있습니다.
- 결과 확인: 작업이 완료되면 결과를 받습니다.
PhoneGo가 다른 점은 무엇인가요?
⚡ 재사용 가능한 앱 명령어
PhoneGo는 익숙한 앱 워크플로우를 재사용 가능한 명령으로 변환합니다:
- 특정 페이지 열기.
- 정보 검색하기.
- 예약 또는 기타 다단계 작업 완료하기.
- 모든 탭을 다시 발견할 필요 없이 테스트된 워크플로우 재생하기.
결과: 더 빠른 실행, 더 일관적인 결과, 그리고 적은 모델 호출.
📱 시각적 앱 상호작용 (Visual App Interaction)
화면 직접 상호작용이 필요한 앱의 경우, PhoneGo는 다음을 수행할 수 있습니다:
- 화면에 표시된 내용을 이해합니다.
- 버튼을 탭하고 메뉴를 탐색합니다.
- 페이지를 스크롤하고 이전 화면으로 돌아갑니다.
- 생소한 인터페이스와 예상치 못한 앱 상태를 처리합니다.
결과: API나 재사용 가능한 명령이 없더라도 PhoneGo는 앱에서 작동할 수 있습니다.
🔀 CLI(명령어) + GUI(시각적) 실행 (Execution)
PhoneGo는 가장 적합한 접근 방식을 자동으로 선택합니다:
- 익숙하고 반복 가능한 워크플로우를 위한 재사용 가능 명령 (Reusable commands).
- 탭하거나 스크롤이 필요할 때의 시각적 상호작용 (Visual interaction).
- 생소한 화면이나 새로운 상황을 위한 비전 모델 (Vision models).
- 동일 작업 내에서 명령과 시각적 작업을 간편하게 전환합니다.
결과: 인간과 유사한 앱 상호작용의 유연성을 가지면서도, 명령어 수준의 속도와 신뢰성.
🎬 사용 사례 (Use Case)
you find a hotel near HKU on Xiaohongshu, pick one, then check tonight's price on Ctrip
app · Xiaohongshu: search → open a note → "Hopewell Hotel"
...
<p align="center">
<img src="https://raw.githubusercontent.com/HKUDS/PhoneGo/HEAD/docs/showcase/app-xhs-ctrip.gif" width="720" alt="PhoneGo가 Xiaohongshu에서 읽은 호텔 이름을 Ctrip에 입력하고, 오늘 밤 가격을 보고하는 모습">
</p>
✨ PhoneGo의 주요 기능 (Key Features of PhoneGo)
| |
|---|
| 🗺️ 각 앱의 실행 가능한 지도 구축 | 화면과 탐색 경로는 재사용 가능 명령이 됩니다. |
| ... | |
명령어는 알려진 것을 처리합니다. 비전은 새로운 것을 처리합니다.
title: PhoneGo: 스마트폰용 개인 AI 에이전트의 고급 자동화 기능
<p align="center">
<img src="https://raw.githubusercontent.com/HKUDS/PhoneGo/HEAD/docs/showcase/lightagent-demo.gif" width="640" alt="PhoneCLI's harness driving an Android emulator through the AndroidLab benchmark">
</p>
⚙️ 앱 화면에서 호출 가능한 명령까지 (From App Screens to Callable Commands)
PhoneGo는 사전에 준비할 수 있는 것과 런타임(runtime)에 이해해야 하는 것을 분리합니다:
OFFLINE 앱 탐색 → 내비게이션 맵 구축 (앱당 한 번)
ONLINE 작업 이해 → 명령 선택 및 재현 (Select and replay a command) (빠른 경로)
FALLBACK 새로운 요소 발견 → 시각적 상호작용 사용 (visual interaction) (필요할 때만)
📊 실제 휴대폰에서 테스트 (Tested on a Real Phone)
우리는 동일한 지침을 동일한 휴대폰에서 실행하고, PhoneGo의 맵 및 재현(map-and-replay) 접근 방식을 비전 전용 에이전트(vision-only agent)와 비교했습니다.
| 작업 (Task) | PhoneGo: 맵 + 재현 (Map + Replay) | 비전 전용 (Vision Only) |
|---|
| 샤오홍슈에서 HKU 방문 예약 방법 찾기 | 17 단계 · 64초 · 92.3k 토큰 | 32 단계 · 146초 · 207.1k 토큰 |
두 접근 방식 모두 작업을 성공적으로 완료했지만, PhoneGo는 다음을 사용했습니다:
- 단계 47% 적게 사용
- 시간 56% 적게 소요
- 토큰 55% 적게 사용
이러한 차이는 간단한 아이디어에서 비롯됩니다. 익숙한 탐색 경로는 단계별로 시각적으로 재발견되는 대신, 테스트된 명령으로 재현되기 때문입니다.
사이드 바이 사이드 녹화본은 docs/showcase/에서 확인하세요.
📲 PhoneGo 사용 방법 (How to Use PhoneGo)
PhoneGo는 컴퓨터 없이, 안드로이드 휴대폰에 직접 실행됩니다.
1. 다운로드 및 설치 (Download and Install)
**PhoneGo-0.4.0-arm64.apk**를 다운로드하세요.
필수 조건: Android 14+ · ARM64
APK를 열고 이 출처에서의 설치를 허용하세요. MIUI 기기에서는 안내가 나올 때 **계속(Continue)**을 누르세요.
2. 휴대폰에 PhoneGo 연결하기 (Connect PhoneGo to Your Phone)
PhoneGo는 안드로이드의 내장 무선 디버깅(wireless debugging) 기능을 사용하여 앱을 로컬에서 작동시킵니다.
- 개발자 옵션(Developer options)에서 **무선 디버깅(Wireless debugging)**을 켭니다.
- **PhoneGo 접근성 서비스(Accessibility Service)**를 활성화합니다.
- 앱 내의 페어링 안내를 따르세요.
PhoneGo는 시스템 대화 상자에서 페어링 코드를 읽고 휴대폰의 로컬 adbd 서비스에 자동으로 연결합니다.
유/비 케이블이나 별도의 컴퓨터가 필요하지 않습니다.
3. 모델 연결하기 (Connect a Model)
**설정(Settings) → 모델 설정(Model Settings)**으로 이동합니다.
- 제공업체 선택:
- OpenRouter
- DeepSeek
- Zhipu
- Alibaba Bailian
- SiliconFlow
- 사용자가 호환되는 엔드포인트
- API 키를 입력합니다.
- **연결 테스트(Test Connection)**를 누릅니다.
PhoneGo는 모델이나 API 키를 번들로 제공하지 않으므로, 사용되는 모델 엔드포인트에 대한 제어권은 사용자에게 있습니다.
4. PhoneGo에게 작업 부여하기 (Give PhoneGo a Task)
자연어로 요청을 입력합니다.
첫 실행 시에는 로그인이 필요하지 않은 작업을 시도해 보세요:
설정을 열고 현재 연결된 Wi-Fi 네트워크가 무엇인지 알려주세요.
PhoneGo는 앱을 열고 필요한 단계를 수행한 후 결과를 보고합니다.
🌐 언어 및 업데이트 (Language and Updates)
- PhoneGo는 영어와 중국어를 지원합니다.
- 인터페이스는 기본적으로 휴대폰의 시스템 언어를 따릅니다.
- **설정(Settings) → 언어(Language)**에서 수동으로 변경할 수 있습니다.
- 새로운 릴리스는 현재 설정을 제거하지 않고 기존 버전에 설치할 수 있습니다.
전체적인 시각적 워크스루 및 문제 해결 가이드는 **시작하기(Getting Started)**를 참조하세요.
❓ 자주 묻는 질문 (Frequently Asked Questions)
제 화면을 업로드하나요?
시각적 이해가 필요할 때만 합니다.
이 경우, 관련 화면은 구성한 모델 엔드포인트로 전송됩니다. 다음 항목들은 기기에 남아 있습니다:
- 앱 탐색 지도(App Navigation Maps)
- 페어링 키(Pairing keys)
- 세션(Sessions)
- 설정(Settings)
- 재사용 가능한 명령어(Reusable commands)
알려진 워크플로우는 모든 화면을 비전 모델로 전송하지 않고 로컬 지도에서 실행할 수 있습니다.
컴퓨터가 필요한가요?
아니요.
PhoneGo는 휴대폰에서 직접 실행되며 안드로이드의 내장 무선 디버깅을 통해 연결됩니다.
개발용으로는 컴퓨터와의 USB 연결이 지원되지만, 일반적인 사용에는 필요하지 않습니다.
어떤 앱을 조작할 수 있나요?
PhoneGo는 터치, 스크롤 및 텍스트 입력을 통해 작동할 수 있는 앱과 연동하여 사용할 수 있습니다.
- **매핑된 앱(Mapped apps)**은 익숙한 탐색을 위해 빠르고 재사용 가능한 명령어를 사용합니다.
- **매핑되지 않은 화면(Unmapped screens)**의 경우 시각적 상호작용으로 전환됩니다.
- 변경된 인터페이스는 다시 탐색하고 맵을 재구축할 수 있습니다.
기존 맵이 있는 앱은 일반적으로 더 빠르며 적은 모델 호출(model calls)을 필요로 합니다.
PhoneGo가 저를 대신해 구매할 수 있나요?
PhoneGo는 사용자 확인 없이 민감한 작업을 완료하지 않습니다.
결제, 주문하기 또는 거래 제출과 같은 작업 전에는 일시 중지하고 승인을 요청합니다.
비밀번호, 인증 코드 및 기타 민감한 인증 단계는 사용자에게 전달됩니다.
📚 문서화(Documentation)
어디서부터 시작해야 할지 모르겠나요? PhoneGo를 설치하고 첫 번째 작업을 완료하려면 **시작하기(Getting Started)**부터 시작하세요.
🌟 인용(Citation)
PhoneGo는 두 가지 연구 프로젝트를 하나의 실용적인 모바일 애플리케이션으로 통합했습니다:
- PhoneCLI는 앱 탐색 맵(App Navigation Map), 명령어 컴파일(command compilation) 및 결정론적 리플레이(deterministic replay)를 제공합니다.
- OpenPhone은 시각적 이해 및 폴백 상호작용(fallback interaction)에 사용되는 오픈 모바일 에이전트 모델을 제공합니다.
만약 PhoneGo, PhoneCLI 또는 OpenPhone이 귀하의 연구를 지원한다면, 해당 논문을 인용하는 것을 고려해 주십시오:
@article{jiang2026phonecli,
title = {PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents},
author = {Jiang, Yangqin and Xu, Lingrui and Huang, Chao},
...
원래의 PhoneCLI 연구 구성 요소들—phonecli/, 평가 스위트(evaluation suites), 및 훈련 레시피(training recipe)를 포함하여—은 이 저장소에서 계속 이용 가능합니다.
원본 PhoneCLI 문서는 **Archived PhoneCLI README**를 참조하십시오.
📜 라이선스 (License)
본 프로젝트는 MIT License 하에 배포됩니다.
<div align="center">
이 프로젝트가 도움이 되었다면, 별점(Star)을 부탁드립니다🌟
🤖 에이전트를 활용한 AI 휴대폰 기능 탐색!
<br>
<p align="center">
<em> ❤️ PhoneGo 방문에 감사드립니다 ✨</em><br><br>
<img src="https://visitor-badge.laobi.icu/badge?page_id=HKUDS.OpenPhone&style=for-the-badge&color=00d4ff" alt="Views">
</p>
</div>