로컬 AI 컴퓨터 사용: 사용자 대신 클릭하고 질문하는 모델

Locally Uncensored 3.0.6 버전에서 컴퓨터 제어 기능이 추가되었습니다. 이 모델은 승인한 앱 내에서 마우스와 키보드를 사용합니다. 로컬 모델과 함께 작동하기 때문에 스크린샷과 클릭 기록이 사용자 기기에 유지됩니다. 이는 베타 버전이며, 작업의 대부분은 무언가를 하기 전에 묻는 질문들에 집중되었기 때문에, 본 게시물은 주로 그 부분에 관한 내용입니다.

Locally Uncensored는 AI 모델을 로컬에서 실행하기 위한 오픈 소스 데스크톱 앱(AGPL-3.0)이며, 다운로드 수는 170,000회 이상입니다. 컴퓨터 제어 기능은 이 에이전트의 일부입니다.

활성화 전까지는 비활성화 상태

설정(Settings) > 에이전트(Agent) > 에이전트 권한(Agent Permissions) > 컴퓨터 제어(Computer control)에서 직접 켜기 전까지는 기능이 작동하지 않습니다. 기능을 켠다고 해서 무조건 허용되는 것은 아닙니다. 그 이후에도 LU는 다음 지점에서 계속 질문합니다:

Every new chat        "이 채팅에서 컴퓨터 제어를 허용하시겠습니까?" 허용 / 거부
앱을 처음 터치할 때마다 해당 앱 사용 전에 물어봄
모든 액션          기본적으로 요청됨 (감독 모드)
...

첫 번째 카드에서 '허용(Allow)'을 클릭하기 전까지는 LU가 스크린샷을 찍거나 아무것도 하지 않습니다. 이 허용은 해당 채팅에만 적용됩니다. 새로운 채팅에서는 다시 묻고, 앱 재시작 후의 모든 채팅에서도 마찬가지입니다. 어떤 설정도 이 질문 카드를 건너뛰게 할 수 없습니다.

'민감한(Sensitive)' 항목이란 권한을 전송하거나, 구매하거나, 삭제하거나 변경하는 모든 것을 의미합니다. 이러한 항목들은 이유와 함께 빨간색으로 요청됩니다. 이름이 없는 버튼, 링크 또는 메뉴 항목에 대한 클릭 역시 LU가 어떤 작업을 할지 알 수 없기 때문에 그렇게 됩니다.

절대 건드리지 않는 것들

모든 단계에서 접근이 금지된 장소들이 있습니다:

terminals
password managers
system sign-in and permission dialogs
...

LU는 비밀번호 필드에 타이핑하지 않으며, 여기에 붙여넣기 하는 것도 거부됩니다. 프로그램, 설치 관리자, 스크립트 또는 바로가기를 더블 클릭할 때도 먼저 질문합니다.

중지하는 방법

Ctrl+Alt+Space    일시 정지(pause)
Ctrl+Alt+Esc      중지(stop)

Mac에서는 Ctrl+Alt 대신 Control+Option을 사용합니다. 자율 세션(autonomous session)에서 LU는 마우스를 움직일 때도 일시 중지됩니다. 일시 중지된 보기에는 지금까지 수행한 내용이 표시되며, 사용자에게 제어권을 넘길지 계속 진행할지 묻고, 나머지 작업을 위한 지침을 추가할 수 있습니다. 화면 작업은 최대 25단계 또는 8분 이내에 종료되며, 질문에 답하는 데 걸리는 시간도 계산됩니다.

Windows에서도 작동하지만, LU 창이 오른쪽 상단 모서리로 작아지고 화면 가장자리가 보라색으로 은은하게 빛납니다. 작은 창에는 LU가 무엇을 하고 있는지 표시하고 두 가지 단축키의 이름을 알려줍니다. 질문은 여기에 나타나며 '중지(Stop)' 버튼과 마우스 클릭만 허용되므로, 앱 LU는 키보드 포커스를 유지합니다.

화면을 보는 모델 선택하기

기본적으로 이미 선택한 채팅 모델이 사용됩니다. LU는 어떻게 실행할지 묻지 않습니다.

Windows에서 LU는 작동하는 창의 버튼 및 필드 목록을 읽습니다. 이미지를 볼 수 있는 모델은 스크린샷과 해당 목록을 모두 받습니다. 이미지를 볼 수 없는 모델은 사진 없이 목록만으로 작동합니다. 이 두 번째 경우가 작은 로컬 텍스트 모델을 여기서 사용할 수 있게 만드는 요인입니다.

저희는 두 가지 작업을 각각 세 번씩 수행하여 비교했습니다. 두 경우 모두 여섯 번의 실행을 완료했습니다. 사진이 있는 실행은 총 497초가 걸렸고, 목록만 있는 실행은 381초가 걸렸습니다.

전용 화면 모델로는 카탈로그에 Holo 3.1 9B가 있으며, 베타(Beta)로 표시되어 있고 16GB의 비디오 메모리가 권장됩니다. Windows에서 테스트했을 때 이 모델은 세 번 중 한 번 간단한 타이핑 작업을 완료했으며, 12GB 카드 위의 9B 채팅 모델 옆에 배치하기에는 적합하지 않습니다. 이는 강력한 결과가 아니므로, 빼는 것보다는 그렇게 말하는 것이 낫겠습니다.

실제 수치

로컬 9B 모델이 버튼 및 필드 목록을 기반으로 작동할 때, 음성으로 요청된 메모장(Notepad)에 메모를 타이핑하는 데 걸리는 시간은 구두 명령의 끝부터 구두 결과가 나올 때까지 11초에서 22초였습니다. 이는 모든 새 채팅에서 질문이 존재하기 전에 측정되었으므로, 새로운 채팅에서 '허용(Allow)'을 클릭하면 맨 위에 표시됩니다.

플랫폼

Windows는 실제 앱에서 한 지점씩 확인했으며, Windows 10 머신에서 테스트되었습니다.
Linux는 아직 앱에서 실행되지 않았으며 X11 세션이 필요합니다.
macOS는 앱에 있지만, 아직 완전히 테스트되지는 않았습니다.

The 버튼과 필드 목록, 그리고 자율 모드는 Windows에서만 존재합니다. Linux와 macOS에서는 LU가 클릭이 어떤 동작을 누를지 알 수 없기 때문에, 모든 클릭은 민감한(sensitive) 동작으로 간주되어 질문을 받게 됩니다. Mac의 경우에도 먼저 접근성(Accessibility)과 화면 녹화(Screen Recording)라는 두 가지 시스템 권한이 필요하며, 모델은 스크린샷만 가지고 있기 때문에 이미지 입력이 필요합니다.

어떤 플랫폼에서도 백그라운드 모드는 없습니다. 실제 포인터와 함께 전경(foreground)에서 작동합니다.

알고 싶은 한계점들

• 작은 로컬 모델들은 작업이 완료되었을 때 오판하는 경향이 있습니다. 작업이 끝났음에도 불구하고 중지된 것으로 간주될 수 있습니다.
• 화면에 있는 텍스트가 모델에게 지침을 주려고 시도할 수 있습니다. LU는 화면에서 읽은 내용을 신뢰하지 않는(untrusted) 것으로 표시하고 민감한 동작 전에 질문합니다. 중요한 것이라면, 감독 모드(supervised mode)에 머무르세요.
• LU가 버튼에서 읽어 민감한 동작과 일반적인 동작을 구분하는 단어들은 목록에서 가져옵니다. 이 목록이 알지 못하는 문구는 인식되지 않습니다.
• Windows 확인 후 자동화된 테스트를 거치면서 여덟 가지 수정 사항과 열 가지 보안 패치가 적용되었습니다.

요약 버전

Locally Uncensored 3.0.6의 컴퓨터 제어 기능은 로컬 모델이 사용자가 승인한 앱에서 클릭하고 타이핑할 수 있게 합니다. 이 기능은 기본적으로 비활성화되어 있으며, 새로운 채팅마다 질문을 하고, 모든 모드에서 민감한 동작 전에 질문하며, 터미널이나 비밀번호 필드를 절대 건드리지 않고, Ctrl+Alt+Esc로 중지됩니다. Windows에서 테스트되었으며, Mac에서는 완전히 테스트되지 않았고, Linux에서는 아직 실행되지 않았습니다. 사용자가 지켜봐야 하는 베타 버전으로 간주하십시오.

코드는 github.com/PurpleDoubleD/locally-uncensored에 있으며, COMPUTER-CONTROL.md에는 모든 질문과 제한 사항이 설명되어 있고, changelog에는 테스트된 내용과 그렇지 않은 내용의 전체 목록이 있습니다.