Claude Code에 '손'을 쥐여주자: 실제 Mac과 Android 휴대폰을 제어합니다

대부분의 'AI 에이전트'는 텍스트에서 멈춥니다. 계획하고, 설명하며, 스스로 실행할 코드 조각(snippet)을 제공하는 수준입니다.

Auten은 이러한 마지막 간극을 메우는 MCP 서버입니다. 즉, 에이전트에게 실제 화면으로 작업할 수 있는 환경—사용자의 컴퓨터(Mac, Windows, Linux)와 Android 휴대폰—을 제공하여 사람이 기계 앞에 앉아 클릭하고, 타이핑하고, 화면을 읽어내도록 합니다. API가 없는 앱에서도 가능합니다.

저는 이를 Claude Code에 연결해 보았습니다. 실제 모습은 다음과 같습니다.

설치를 위한 한 줄 명령어

Auten은 npm의 MCP 서버로 배포되므로, 모든 MCP 클라이언트가 사용할 수 있습니다:

claude mcp add auten -- npx -y @autenai/mcp

Claude Code에 대해서는 이 정도면 충분합니다. Cursor, Codex 및 기타 MCP 클라이언트는 동일한 패키지를 자신들의 설정과 함께 사용합니다. 기계에서 실행할 다른 것은 없습니다. 장치 측의 구성 요소는 가볍습니다(손과 눈), 두뇌는 사용자 에이전트입니다.

스크립트가 아닌 목표를 부여하기

저를 놀라게 한 점은 다음과 같습니다. 좌표를 스크립팅하거나 셀렉터를 작성할 필요가 없습니다. 단순히 에이전트에게 '목표(goal)'를 제시하면, 그것이 접근성 트리(accessibility tree)를 읽어 필요한 것을 찾아냅니다.

제가 실행한 실제 작업은 다음과 같습니다: "시스템 설정(System Settings)을 열고 일몰부터 일출까지 나이트 시프트(Night Shift)를 켜라." 에이전트는 화면상의 요소들을 나열하고, '디스플레이(Displays)'를 클릭하여 레이블로 나이트 시프트 버튼을 찾아내고, 스케줄 드롭다운 메뉴를 열어 해당 옵션을 선택했습니다. 제가 휴대폰에서 같은 작업을 요청했을 때도—"배터리 절약 모드(battery saver)를 켜라"—Android 설정 앱을 동일한 방식으로 제어했습니다.

이 두 가지 모두에 대한 API는 존재하지 않습니다. Auten이 통합(integration)이 아닌 실제 UI를 작동시키기 때문에 성공할 수 있었습니다.

단순 데모가 아닌, 사용 가능하게 만드는 요소들

컴퓨터 사용 에이전트는 반복 가능하고, 저렴하며, 안전해야만 유용합니다. 이 세 가지 요소를 충족시키는 것이 중요합니다:

• 한 번 학습하면 AI 호출 없이 재현합니다. 작업을 한 번 녹화하여 Auten이 매개변수(parameters)를 가진 스킬로 저장합니다. 다음에 Auten은 이를 결정론적(deterministically)으로 재현하며, 모델 토큰을 소모하지 않고 몇 초 만에 완료됩니다.
• UI가 변경되어도 스스로 복구합니다. 버튼 위치가 바뀌거나 레이아웃이 변경되어 저장된 스킬이 작동하지 않을 때, 실패한 지점부터 단계를 수리하여 중단되지 않습니다.
• 비밀 정보는 로컬에 보관됩니다. 비밀번호와 키는 사용자의 장치에서 로컬 로그인 경로를 통해 입력되므로, 에이전트는 그 값을 절대 볼 수 없습니다.

한계점에 대해 솔직하게 밝히는 부분

아직 초기 단계입니다. UI 탐색, 양식 작성, 앱 간의 다단계 작업 수행에는 정말 뛰어난 성능을 보이며,
무작정 실행하기보다는 중요한 각 단계 후에 결과를 확인하도록 할 때 가장 좋습니다.
이것은 마법이 아닙니다. 명확한 목표를 제시하고, 결과물을 확인하게 하면 그 효과가 누적됩니다: 이 에이전트에게 가르친 모든 작업의 두 번째 실행은 결정론적입니다.

만약 단순 채팅을 하는 것이 아니라 실제 작업을 수행해야 하는 에이전트를 구축하고 있다면, 이것이 부족했던 부분(missing hand)입니다. 직접 사용해 보세요: auten.ai/mcp