API가 없는 안드로이드 앱을 AI 에이전트가 사용하는 5가지 방법 (2026년)

공개 정보: 저는 아래 다섯 번째 옵션인 Phonebox에서 작업하고 있습니다. 나머지 네 가지는 Google의 것이거나 오픈 소스이며, 각 항목이 무엇을 할 수 있고 할 수 없는지 솔직하게 전달하려고 노력했습니다.

사람들이 에이전트가 사용하기를 원하는 앱 중 상당수는 API가 없습니다. 음식 배달, 차량 호출, 은행 업무 등 휴대폰에 있는 대부분의 기능이 그렇습니다. 그렇다면 AI 에이전트는 실제로 이들 앱에서 어떻게 작업을 수행할까요? 2026년 10월에는 다섯 가지 경로가 있으며, 어떤 경로가 작동하는지는 사용자가 누구인지, 그리고 해당 앱이 무엇인지에 따라 달라집니다.

가장 좋은 순서로 본 다섯 가지 방법

**AppFunctions**가 깨끗하고 미래 지향적인 방식입니다. 앱들은 @AppFunction으로 기능을 주석 처리하고, 에이전트들이 기기에서 직접 해당 기능들을 호출합니다. Google은 이를 "모델 컨텍스트 프로토콜(Model Context Protocol) 내의 도구에 대한 모바일 동등물"이라고 부릅니다. 하지만 이는 실험적이며 Android 16이 필요하고, 제한된 시스템 에이전트에 의해서만 작동하는, 해당 기능을 채택한 앱에서만 작동합니다.

Gemini의 인앱 작업 (2026년 2월부터 베타)은 DoorDash, Uber, Lyft, Instacart 및 기타 몇몇 앱에서 휴대폰의 가상 창을 통해 다단계 작업을 실행할 수 있습니다. 이 기능은 구매 버튼 직전에 멈추고 사용자에게 해당 버튼을 터치하도록 요청합니다.

Mobilerun, mobile-use, AppAgent와 같은 접근성 기반 에이전트는 ADB를 통해 연결된 휴대폰에서 관찰(observe)-행동(act) 루프를 실행합니다. 실험에 매우 유용합니다. 다만, Google Play의 정책은 접근성 서비스(AccessibilityService)를 사용하여 자율적으로 행동을 계획하고 실행하는 앱을 배포하는 것을 금지한다는 점에 유의해야 합니다.

에이전트가 화면을 사용하는 방법

휴대폰 구동 방식과 관계없이, 루프는 동일합니다:

1. 관찰(Observe). 화면을 레이블과 함께 요소 목록으로 읽고 (스크린샷 포함).
2. 행동(Act). 보이는 텍스트로 터치하거나, 입력하거나, 스와이프한다.
3. 확인(Check). 새 화면을 읽어 다음 단계 전에 결과를 확인한다.

픽셀 대신 텍스트를 읽는다는 점이 핵심이다: 디자인이 변경되어 버튼의 위치가 바뀌어도 'Sign in 터치' 같은 방식은 여전히 작동한다. 이것이 Phonebox 휴대폰에서 에이전트가 읽는 방식이다:

snapshot snp_4f2k7m3q6z3a
app com.android.launcher3
keyboard hidden
...

일반적인 작업들이 선을 긋는 곳

• 음식 및 탑승권. 에이전트가 주문을 만들게 한 다음, 사용자가 직접 확인하고 결제하게 하라. Gemini도 같은 방식으로 작동한다: 구매 버튼 직전에 멈춘다.
• WhatsApp. 고객에게 메시지를 보내는 것은 WhatsApp Business Platform에 속해야 한다: 옵트인, 24시간 창 외부의 템플릿, 그리고 하루 최소 250명부터 시작하는 제한이 있다. WhatsApp 이용 약관은 일반 및 Business 앱 계정에서 '대량 메시징(bulk messaging), 자동 메시지 전송(auto-messaging), 자동 다이얼링(auto-dialing) 등'을 금지하며, 이를 위한 계정을 차단한다. 사용자 본인의 계정으로 몇 가지 사용자가 지시하는 작업을 수행하는 것은 명확하게 언급되지 않았으므로, 이는 회색 영역으로 간주하고 절대 대량 전송 수단으로 여겨서는 안 된다.
• 계정. 자신이 소유했거나 사용할 가능성이 있는 계정에만 로그인하라. 앱이 일회용 코드를 요구할 때, 사람은 직접 입력해야 한다.

다섯 번째 방법

Phonebox가 채우는 공백이 바로 이것이다: 에이전트가 MCP, CLI 또는 API를 통해 구동하는 클라우드 안드로이드 휴대폰으로, 세션 간에 앱과 로그인 정보를 유지하며 사용자 장치에 아무것도 연결하지 않는다. 코드나 결제와 같이 사람이 필요한 단계가 있을 때는, 에이전트가 라이브 뷰 링크를 보내고 기다린다.

원래 phonebox.dev에서 게시됨. API가 없는 앱에 대해 작동하는 다른 방법을 발견했다면 알려주세요.