에이전틱 테스팅(Agentic testing)이란 무엇인가? 모바일 앱 팀을 위한 실용적인 정의

Disclosure: 저는 AI 에이전트에게 클라우드 Android 폰을 제공하는 Phonebox에서 작업하고 있습니다. 이 게시물은 제품에 대한 것이 아니라 테스트 접근 방식에 관한 것입니다. 마지막 섹션에서는 시도해 볼 수 있는 한 가지 방법을 보여줍니다.

올해 모든 테스트 공급업체의 홈페이지에서 'Agentic testing'이라는 용어를 찾아볼 수 있지만, 그 정의가 완전히 일치하지는 않습니다. 여기 모바일 관점에서 본 실용적인 정의를 제시합니다.

정의

**에이전틱 테스팅(Agentic testing)**이란 AI 에이전트가 테스트를 실행하는 것을 의미합니다. 사용자가 일반 언어로 목표를 설정하면, 에이전트는 화면에서 관찰한 내용을 바탕으로 다음 행동을 스스로 결정하고, 행동을 취하며, 결과를 확인하고, 목표가 통과하거나 실패할 때까지 적응해 나갑니다.

이는 종종 혼동되는 두 가지 방식과 구별됩니다:

• 스크립트 기반 테스팅(Scripted testing): 테스트 단계가 Espresso, UI Automator, Appium 또는 Maestro와 같은 도구에서 사전에 고정되어 있습니다.
• AI 지원 테스팅(AI-assisted testing): AI가 스크립트를 작성하거나 수정합니다 (Copilot이 Espresso를 작성하는 경우, 자체 복구 로케이터 등). 그리고 이 스크립트는 평소처럼 실행됩니다.

Tricentis, Momentic, Katalon 및 Autify는 대략적으로 이 지점에서 선을 긋고 있습니다. Forrester는 이 카테고리를 '자율 테스트 플랫폼(autonomous testing platforms)'이라고 부르며, 아예 'agentic'이라는 단어를 사용하지 않습니다.

UI 테스트 자동화하는 세 가지 방법

| | 스크립트 기반 (Scripted) | AI 지원 (AI-assisted) | 에이전틱 (Agentic) | |
| --- | --- | --- | --- | |
| 단계 결정 주체 | 엔지니어, 코드 내에서 | AI가 코드를 작성; 일반 스크립트처럼 실행됨 | 에이전트, 런타임 시점 | |
| ... |

• 비결정성 (Non-determinism): 두 번의 실행이 다른 경로를 따를 수 있어, 실패한 경우 항상 단계별로 재현할 수 없습니다.
• 비용 및 속도: 모든 단계가 모델 호출이기 때문에 스크립트보다 느리고 비용이 많이 듭니다.
• 제스처 (Gestures): Google은 자체 Journeys 미리보기에서 길게 누르기, 더블 탭, 멀티-핑거 제스처 및 회전 등을 나열합니다.
• 판단력 (Judgment): 에이전트는 사용자가 작성한 비즈니스 규칙만 알고 있습니다.

따라서 이것이 병합을 통제하는 스위트(suite)를 대체하는 것은 아닙니다. 하지만 스크립트가 취약한 부분, 즉 새로운 화면, 탐색적 테스트 실행 (exploratory passes), 버그 보고서 재현에는 능합니다.

Android 앱에 적용해 보기

에이전트는 읽고 행동할 수 있는 장치가 필요합니다. 이는 모바일-mcp와 같은 로컬 MCP 서버가 추가된 에뮬레이터 형태의 노트북일 수 있습니다. 만약 에뮬레이터 없이 어딘가에서 에이전트가 실행된다면, 호스팅되는 것이 작동합니다:

claude mcp add --transport http phonebox https://phonebox.dev/mcp \
  --header "Authorization: Bearer $PHONEBOX_API_KEY"

그런 다음 단계(steps)가 아닌 목표(goal)를 제시합니다:

내 Phonebox 폰에 디버그 APK를 설치하고 열어라.
TEST_ACCOUNTS.md의 테스트 계정으로 로그인하고, 하단 바의 각 탭을 한 번씩 열어본 다음 로그아웃해라. 매번 화면 내용을 읽어라...

가장 중요한 두 가지 습관은 다음과 같습니다: 모든 동작 전에 화면을 읽도록 지시하는 것과 보고서를 확인할 수 있도록 증거(정확한 화면 텍스트 또는 녹화)를 요청하는 것입니다.

원래 phonebox.dev에 게시되었습니다. 다른 사람들이 에이전트 실행과 스크립팅된 스위트 사이의 경계를 어떻게 긋고 있는지 궁금합니다.