AI에게 “이 화면의 버튼을 누르고, 표에 내용을 입력해 줘”라고 부탁할 수 있게 되었습니다. GitHub Copilot에서도 데스크톱 애플리케이션을 조작하는 ‘computer use’가 프리뷰로 사용 가능해졌습니다.
편리한 만큼, AI가 마우스와 키보드를 갖게 된다는 의미입니다. 이 글에서는 처음 사용하는 사람들을 위해 안전하게 시작하는 절차를 정리했습니다.
computer use란 AI가 화면을 보고 사람이 하는 것처럼 애플리케이션을 조작하는 메커니즘입니다. 화면을 읽고, 클릭하고, 문자를 입력하고, 스크롤하는 등의 작업을 수행합니다.
기존의 에이전트는 파일의 읽기/쓰기나 명령어 실행에 중점을 두었습니다. 이 글은 에이전트의 기본 개념을 대화형 AI만 사용해 본 사람들을 위해 작성되었습니다.
computer use에서는 API나 명령어가 없는 애플리케이션도 조작할 수 있습니다. 예를 들어, 다음과 같은 작업들이 가능합니다.
- 오래된 업무 소프트웨어에 표 데이터를 한 건씩 입력하는 것
- 설정 화면을 열어 정해진 항목을 확인하는 것
- 두 개의 앱 화면을 비교하여 차이점을 작성하는 것
이번 주, OpenAI가 새로운 모델 공개를 취소한다고 발표했습니다. 보도에 따르면 그 이유 중 하나는 ‘위임된 범위와 권한’의 기준을 충족하지 못했기 때문이라고 합니다.
AI는 부탁받지 않은 일까지도 “배려해서” 처리해 버릴 때가 있습니다. 파일 편집이라면 차이점을 비교하여 되돌릴 수 있습니다. 하지만 화면 조작에서는 전송 버튼이나 삭제 버튼을 누른 결과는 되돌릴 수 없는 경우가 있습니다.
여기서 중요해지는 것이 AI에게 부여하는 도구와 권한의 설계입니다. 이는 ‘하네스(Harness)’라고 불리는 개념의 일부입니다. 자세한 내용은 'AI의 실력은 모델만으로 결정되지 않는다'라는 글을 참고하세요.
화면 조작을 시도하기 전에, 다음 세 가지를 종이나 메모에 적어둡니다.
- 터치해도 되는 앱: 이번에 조작시킬 애플리케이션만 정합니다. 브라우저나 메일은 필요하지 않다면 포함하지 않습니다.
- 할 수 있는 조작: 입력이나 확인까지는 괜찮지만, 전송/삭제/구매 등은 사람이 직접 하는 경우입니다.
- 멈춰야 할 상황: 로그인을 요구받았을 때, 예상과 다른 화면이 나왔을 때 등입니다.
이 세 가지 항목은 나중에 AI에게 지시를 내릴 때 그대로 사용합니다.
여기서는 Copilot CLI를 예로 듭니다. 명령어와 화면은 바뀔 수 있으므로 공식 문서를 확인해 주세요.
-
회사 PC에서 사용할 경우, 사내 규정으로 사용해도 되는지 확인해야 합니다. 조직 설정에서 비활성화되어 있을 수도 있습니다.
-
연습용 폴더와 애플리케이션을 준비합니다. 처음에는 망가져도 문제없는 메모장이나 스프레드시트의 새 파일로 시도하는 것이 좋습니다.
-
Copilot CLI를 실행하고 다음 명령어로 화면 조작을 활성화합니다.
/computer on
/computer show
/computer off
허가한 앱은 나중에 검토하거나 리셋할 수 있습니다. 한동안 사용했다면, 주기적으로 확인하는 습관을 들이는 것이 안심됩니다.
공식 안내에서는 “무엇을 하고 싶은지”, “어떤 앱을 사용할지”, “지켜야 할 제약”을 전달하면 좋다고 합니다. 방금 정한 세 가지 항목을 그대로 넣으면 됩니다.
나쁜 요청 예시입니다.
판매 실적 표를 정리해 줘
이 경우, 어떤 앱을 사용할지, 어디까지 해도 되는지가 명확하지 않습니다. AI는 파일을 덮어쓰거나 다른 앱을 열 수도 있습니다.
좋은 요청 예시입니다.
스프레드시트 앱에서 열려 있는 “연습용_매출.xlsx”를 정리해 주세요.
- 요청 사항: B열의 날짜 형식을 “2026/10/05” 형태로 통일시켜 주세요.
- 터치해도 되는 앱: 스프레드시트 앱만. 다른 앱은 열지 말아 주세요.
- 하지 말아야 할 것: 저장, 파일 삭제, 메일 전송.
예상과 다른 화면이 나오면 조작을 멈추고 상황을 알려주세요.
끝나면 변경한 셀 범위와 건수를 보고해 주세요.
이렇게 요청하면 AI의 움직임은 다음과 같습니다.
- 스프레드시트 앱의 조작 허가를 요청함
- 화면을 읽어 B열 날짜 형식을 확인함
- 셀을 하나씩 또는 범위를 선택하여 덮어씀
- 저장하지 않고 멈추며, “B2~B31의 30건을 수정했습니다”와 같이 보고함
마지막 보고가 있으면 사람이 확인할 부분이 명확해집니다. OpenAI 모델에서 문제가 되었던 ‘작업 보고’는 요청 방식에서도 보완할 수 있습니다.
AI의 보고를 맹신하지 않고, 화면에서 직접 확인합니다. 확인 방법은 작업 규모에 따라 달라집니다.
- 작업 건수가 적다면, 모두 눈으로 확인하기
- 작업 건수가 많다면, 처음/중간/마지막 몇 건을 보기
- 저장하기 전에, 원본 파일과 비교해 보기
문제가 없다면, 사람이 직접 저장합니다. 저장이나 전송처럼 되돌릴 수 없는(irreversible) 작업은 끝까지 사람이 주도하는 것이 핵심입니다.
작은 작업에서 성공하면, 점진적으로 위임 범위를 넓힙니다.
- 연습용 파일부터 실제 파일의 사본으로 변경하기
- 하나의 앱에서 두 개의 앱 사이로 전이(transfer)시키는 범위 확장하기
- 자주 사용하는 요청 방식을 지시 파일이나 프롬프트 파일에 정리하기
요청 방식을 파일로 만들어두면, 매번 동일한 제약 조건을 작성할 필요가 없습니다.
허용 범위를 '모든 앱'으로 설정하는 것
처음 확인 단계에서 깊이 생각하지 않고 광범위하게 허용해 버리는 실수입니다. 필요한 앱만 허용하고 나중에 검토해야 합니다.
'괜찮게'라고 요청하는 것
목표가 모호하면, AI는 스스로 범위를 확장합니다. 무엇을 어디까지 할지 구체적으로 작성해야 합니다.
로그인 화면에서 AI에게 맡기는 것
비밀번호 입력은 AI에게 맡기지 않는 것이 기본입니다. 로그인을 요구받으면 멈추도록 지시사항에 포함시켜야 합니다.
작업 완료 후 확인하지 않는 것
화면 조작은 어디가 변경되었는지 파악하기 어려운 작업입니다. 보고를 받고, 화면에서 직접 확인하는 과정까지를 한 번의 작업으로 간주해야 합니다.
computer use는 API가 없는 앱까지 AI에게 위임할 수 있는 편리한 기능입니다. 그만큼 무엇을 건드려도 되는지 사람이 결정하는 것이 중요합니다.
- 시작하기 전에 '건드릴 수 있는 앱', '수행 가능한 작업', '멈춰야 하는 상황'을 결정하기
- 연습용 파일로 작게 시도해 보기
- 저장이나 전송 등 되돌릴 수 없는 작업은 사람이 주도하기
- AI에게 보고하게 하고, 화면에서 직접 확인하기
AI를 사용하는 것 자체는 어렵지 않습니다. 위임 범위를 정하고 확인하는 습관이 있다면, 새로운 기능도 두려워하지 않고 시도할 수 있습니다.
- GitHub Copilot can now interact with desktop apps with computer use (GitHub Changelog)
- OpenAI cancels release of AI model GPT-6.1 Astra, citing safety concerns (Al Jazeera)
- OpenAI cancels Astra 6.1 launch after model fails safety tests (Computing)
이 글은 Zenn에도 게시되었습니다.