AI가 휴대폰에서 배달 주문이나 건강 데이터 전송을 도와주려 할 때 막히는 지점은 보통 해당 앱에 외부 인터페이스가 없기 때문입니다.

AI에게 휴대폰에서 배달 주문을 하거나 건강 데이터를 전송하는 것을 돕게 하려고 할 때, 막히는 부분은 대개 이러한 앱들이 아예 외부 인터페이스를 가지고 있지 않기 때문입니다.

iphone-use는 다른 방법을 택했습니다. 실제 iPhone 한 대를 데이터 케이블로 Mac에 연결하고, AI가 화면을 직접 보고 버튼을 누르고, 스와이프하고, 타이핑하는 방식으로 사람의 수동 조작과 똑같이 작동합니다.

AI는 휴대폰 화면을 텍스트로 변환하여 읽어주고, 매번 버튼을 누른 후에는 실제로 눌렸는지 여부를 AI에게 정확히 알려줍니다. 가려진 버튼은 성공한 것처럼 속이지 않습니다.

GitHub: https://t.co/Sp9EgTawuS

반복되는 작업은 프로세스로 저장하여 다음번에 바로 재생할 수 있으며, 모델을 다시 조정하거나 토큰을 사용할 필요가 없습니다.

23개의 도구를 연결하면 Claude Code나 Claude Desktop에서 사용할 수 있습니다.

사람도 브라우저를 통해 휴대폰의 실시간 화면을 보면서 원격으로 버튼을 누를 수 있으며, Mac 자체의 화면이나 마우스에는 영향을 주지 않습니다.