스마트폰에서 지시만 내리면 끝. AI 에이전트와 집의 PC를 연결하여 개발과 영상 제작까지 맡기다

이 글은 스마트폰으로 Claude에게 지시를 내려 작성했습니다.

GitHub 리포지토리 관리, 게임 프로토타입 제작, 매일의 영상 제작까지 최근에는 거의 대부분의 작업을 스마트폰에서 지시하고 있습니다.

ChatGPT 같은 대화형 AI를 사용해 본 사람이라도 '작업을 위임하는 AI'는 아직 경험해보지 못한 분들이 많을 것입니다.

이 글에서는 스스로 작업을 진행하는 AI 에이전트에게 스마트폰으로 어느 정도까지 위임할 수 있는지, 그리고 어떤 구조로 작동하는지를 소개합니다.

기능 이름이나 지원 플랜은 변경될 수 있습니다. 사용하기 전에 공식 도움말(Claude Help Center)을 확인해 주십시오.

대화형 AI는 질문하면 답변을 돌려줍니다.
다만, 돌아온 답변을 가지고 실제로 손으로 움직이는 것은 인간의 몫입니다.
AI 에이전트는 지시를 받으면 작업 자체를 스스로 진행합니다. 파일 생성, 코드 작성 및 테스트 실행, 브라우저에서 사이트 조작 등까지 처리해 줍니다. 중간에 판단이 필요한 경우에만 사람에게 질문을 합니다.

AI 에이전트에게 맡긴 작업은 클라우드 상에서 작동합니다. 스마트폰을 닫아도 멈추지 않습니다. 게다가, 집의 PC와 Claude 데스크톱 앱을 연결하면 PC 내부의 파일이나 앱까지 사용할 수 있습니다.

즉, 스마트폰으로 지시를 내리면 실제 작업은 클라우드와 집의 PC가 진행하는 형태가 됩니다.

전체적인 그림은 다음 세 가지로 나누면 이해하기 쉽습니다.

작업은 Claude 계정에 연결되어 있습니다. PC에서 시작한 작업을 외출 중인 스마트폰에서 열어 계속 지시를 내릴 수 있습니다. 작업이 완료되거나 판단이 필요할 때가 되면 스마트폰으로 알림이 옵니다.

Claude의 데스크톱 앱을 PC에 켜두면, 클라우드의 작업 내용까지 PC 내부로 손을 뻗칠 수 있게 됩니다.

공식 도움말에서는 다음과 같은 것이 가능하다고 설명하고 있습니다.

• 파일: PC에서 허용한 폴더 안의 파일을 읽고 쓰기 할 수 있음 -
• 브라우저: 데스크톱 앱 내 브라우저로 사이트를 조작할 수 있음 -
  화면 조작(컴퓨터 조작): 클릭이나 입력을 통해 PC의 앱을 구동할 수 있음

다만, PC의 앱이 닫혀 있거나 PC가 절전 모드 상태라면 PC 내부에는 접근할 수 없습니다. 그 사이에도 클라우드의 작업은 계속되지만, PC 파일을 사용하는 과정만 멈춥니다.

여기서는 제가 실제로 스마트폰으로 위임하고 있는 작업을 소개하겠습니다.

개인 공개 리포지토리 15개의 버그 수정, 테스트 추가, 문서 정리를 맡기고 있습니다. 스마트폰에서 '남아있는 지적 사항을 모두 고쳐줘'라고 보내면, 클라우드에서 수정, 테스트, PR(Pull Request) 생성까지 진행됩니다. 제가 하는 일은 결과 확인과 정말 판단이 필요한 것에 대한 답변만 하는 것입니다.

예를 들어, '기본 동작이 바뀔 건데, 어느 쪽으로 할까?'라는 질문을 받으면 스마트폰으로 선택합니다.

호러 액션 게임을 만들고 싶어서 기획서 작성부터 Claude에게 도움을 받고 있습니다. 기획서를 바탕으로 플레이 가능한 프로토타입 버전을 만들어 달라고 하고, 그것을 함께 개선하고 있습니다. 아이디어가 떠올랐을 때 그 자리에서 스마트폰으로 전달할 수 있다는 점이 편리합니다.

'이런 장치를 넣고 싶어'라고 보내두면, PC 앞에 돌아가기 전에 작업이 진행되어 있습니다.

촬영에 익숙하지 않아 숏폼 비디오는 Claude에게 맡기고 있습니다. 매일 아침 정해진 시간에 '스케줄 태스크(Schedule Task)'가 작동하여 대본 작성, 영상 출력, 게시 예약까지 진행됩니다. 여기서 집의 PC가 활약합니다.

• PC에 있는 배경 음악(BGM)이나 효과음 소재를 클라우드로 가져와 사용한다.
• PC에서 구동하는 음성 합성 소프트웨어로 해설 목소리를 만든다.
• 제작한 영상을 PC 폴더에 저장한다.
• PC 브라우저를 통해 영상 사이트에 예약 게시한다.

소재나 소프트웨어는 PC에 그대로 두고, 작업만 클라우드에서 전달받는 형태입니다.

저는 아침에 스마트폰으로 도착하는 보고서만 읽습니다.

여기서는 흐름(워크플로우)만 소개합니다.

화면의 세부 조작은 자주 변경되므로, 공식 도움말에서 확인해 주세요.

• 스마트폰에 Claude 앱을 설치하고 PC와 동일한 계정으로 로그인합니다.
• PC에 Claude 데스크톱 앱을 설치하고 같은 계정으로 로그인합니다.
• PC에서 Claude가 사용하도록 허용할 폴더를 지정합니다. 처음에는 작업용 폴더 1개만 해두는 것이 안전합니다.
• 화면 조작까지 맡기고 싶다면, 데스크톱 앱 설정에서 '컴퓨터 제어(Computer Operation)'를 활성화합니다 (지원하는 플랜이 제한적입니다).
• 스마트폰에서 간단한 작업을 요청해 봅니다.

첫 번째 지시는 예를 들어 이런 형태가 추천됩니다.

PC의 '작업' 폴더에 있는 회의록 메모를 읽고, 다음 주까지 할 일을 목록으로 정리해 주세요. 결과는 이 대화에서 알려주세요.

잘 작동하면, 맡기는 범위를 조금씩 넓혀갑니다.

PC 앱이 닫혀 있는 경우

PC 내부에 도착하지 않을 때는, 먼저 데스크톱 앱이 열려 있는지 확인합니다.

PC가 절전 모드(Sleep) 상태여도 도착하지 않습니다.

저는 작업이 필요한 시간대에는 PC를 깨어있는 상태로 유지합니다.

권한 확인이 멈춘 경우

화면 조작에서는 앱마다 '사용해도 되는지' 확인 메시지가 나옵니다.

스마트폰에서 지시를 내리다가, PC 측의 확인 요청을 놓칠 때가 있습니다.

작업이 진행되지 않을 때는, PC나 스마트폰에 확인 메시지가 오지 않았는지 살펴보세요.

너무 많은 것을 맡기는 경우

화면 조작에는 Claude와 앱 사이에 경계(샌드박스, Sandbox)가 없습니다.

공식 도움말에서도 돈이나 개인 정보를 다루는 앱에서는 사용하지 않도록 권장하고 있습니다.

화면에 보이는 것은 Claude도 볼 수 있으므로, 보여주고 싶지 않은 파일은 닫아 두세요.

속도에 제한을 두지 않는 경우

AI 에이전트는 인간에게는 불가능한 속도로 작업을 수행합니다.

저는 GitHub 작업을 한 번에 너무 많이 실행해서 계정이 동결된 적이 있습니다.

서비스 측에서 남용으로 보이지 않도록, 동시에 작동시키는 수나 횟수에 상한을 정해두는 것이 중요합니다.

이 이야기는 다른 기사 "AI 에이전트에게 GitHub를 맡겼다가 계정이 동결된 이야기와 재발 방지책"에 정리되어 있습니다.

제가 Claude에게 맡길 때 정하는 규칙입니다.

• 돈이 드는 작업은 매번 사람이 확인한 후에 진행한다.
• 삭제나 설정 변경 등 되돌리기 어려운 작업은 임의로 하지 않는다.
• 공개 리포지토리에는 실명, 근무처, 비밀 정보를 넣지 않는다.
• PC에서 허용하는 폴더는 필요한 것만 지정한다.
• 외부 게시나 공개는 지시했을 때만 한다.

이러한 규칙은 지시 파일이나 스케줄 작업의 지시문에 적어둡니다.
매번 말하지 않아도 지켜주기 때문에, 스마트폰에서 짧은 지시만으로 충분해집니다.

• 대화형 AI는 답변을 제공하고, AI 에이전트는 작업 자체를 진행합니다.
• 에이전트의 작업 본체는 클라우드에서 작동하므로, 스마트폰은 지시와 확인만으로 충분합니다.
• 데스크톱 앱으로 집의 PC를 연결하면, PC 파일, 브라우저, 앱까지 사용할 수 있습니다.
• 개발, 게임 프로토타이핑, 영상 제작까지 스마트폰 지시로 진행할 수 있습니다.
• PC 앱을 열어두는 것, 맡기는 범위와 속도에 상한을 정하는 것이 잘 사용하는 요령입니다.

'AI는 질문에 답해주는 것', 'PC 앞에서 사용하는 도구'라는 고정관념을 벗어던지면, 맡길 수 있는 일이 훨씬 늘어납니다.

우선 PC 폴더를 1개만 허용하고, 스마트폰에서 간단한 작업을 요청해 보세요.

• 웹, 데스크톱 및 모바일에서 Claude Cowork 사용하기 (Claude 도움말 센터)
• Cowork에서 Claude가 컴퓨터를 사용하도록 허용하기 (Claude 도움말 센터)
• Claude 다운로드