Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Atlarix 15.11 버전은 코딩 에이전트가 화면을 보고 마우스와 키보드를 사용할 수 있는 '컴퓨터 사용' 기능을 추가했습니다. 이 기능 덕분에 API가 없는 구형 관리자 패널이나 데스크톱 앱 등 다양한 환경에서 에이전트가 상호작용할 수 있게 되었습니다. 이미지를 처리하는 모든 모델에 적용 가능하며, 개발자가 직접 활성화해야 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기작업하는 일부 소프트웨어는 API가 없습니다. 오래된 관리자 패널, 데스크톱 앱, 화면에만 존재하는 대화 상자가 있습니다. Atlarix 15.11은 컴퓨터 사용 기능을 추가하여 에이전트가 화면을 보고 마우스와 키보드를 사용할 수 있게 합니다. 이것이 유일한 방법일 때 가능합니다. 이 기능은 특정 공급업체의 모델이 아닌, 이미지를 볼 수 있는 모든 모델에서 작동하며, 사용자가 직접 켜기 전까지는 비활성화되어 있습니다.
Claude처럼 자체 컴퓨터 도구를 제공하는 모델은 자신들의 도구를 사용합니다. 이미지를 허용하는 다른 모든 모델은 스크린샷을 찍고, 클릭하고, 타이핑하고, 스크롤하고, 키를 누르는 Atlarix의 computer 도구를 받습니다. 텍스트 전용 모델은 이 둘 다 사용할 수 없으며, 모델 메뉴에는 스위치를 보여주는 대신 그 이유가 표시됩니다. 따라서 동일한 기능이 사용자의 자체 키, 로컬 비전 모델, Amazon Bedrock 또는 게이트웨이와 함께 작동할 수 있습니다. 중요한 것은 모델이 이미지를 볼 수 있는지 여부입니다.
모든 것이 아닌 특정 모델에 대해 이 기능을 켭니다: Settings → Computer use, 채팅의 모델 메뉴, CLI에서 /computer를 사용하거나, VS Code 패널 설정 또는 Zed와 같은 ACP 에디터의 세션 옵션에서 할 수 있습니다. 모든 클릭이나 키 입력마다 승인 카드가 필요한 것은 아닙니다. 매번 요청하면 사용할 수 없게 되므로, 결정은 한 번 켤 때 이루어집니다.
이 기능은 Build 및 Debug 모드에서만 제공되며, 한 번에 하나의 세션만이 화면을 제어합니다.
마우스를 움직이면 모든 표면에서 작동이 중지됩니다. 에이전트의 다음 클릭이나 키 입력은 거부되고 턴이 끝나므로, 손이 마우스 위에 있는 동안 아무것도 기록되지 않습니다. 앱에서는 Esc 또는 ⌃⌥Esc를 사용하면 즉시 중지할 수 있습니다.
실행되는 동안 데스크톱 앱에는 '화면 제어 중'이라는 알약(pill)과 정지 버튼이 표시됩니다. 이 알약은 모델 자체의 스크린샷에서는 숨겨져 있으므로, 절대로 클릭을 시도하지 않습니다. CLI는 대신 시스템 알림을 게시하며, 에디터에서는 각 동작이 채팅 내 단계가 되고 에디터의 정지 버튼으로 종료됩니다.
macOS, Windows 및 Linux에서 작동합니다 (X11 및 Wayland; Wayland는 아직 실제 하드웨어에서 테스트되지 않았습니다). macOS에서는 '스크린 레코딩(Screen Recording)'과 '접근성(Accessibility)' 권한이 한 번 필요합니다. macOS는 앱을 요청하는 이름으로 Atlarix를 사용 데스크톱 앱에서, 에이전트가 실행되는 터미널이나 편집기에서 표시하며, 따라서 프롬프트가 나타나기 전에 예상해야 할 이름을 알려줍니다.
Windows에서는 텍스트를 키 단위로 전송하는 것이 아니라 붙여넣는 방식으로 작동하며, 이후 클립보드는 기록 이력에 남지 않도록 복구됩니다.
이 기능은 화면에 보이는 모든 것을 인식하므로, 시작하기 전에 원치 않는 부분은 닫아 놓으세요. 개방형 과제보다는 가시적인 끝점이 있는 구체적인 작업을 부여하는 것이 좋습니다("원장 앱의 이 세 행을 추가하고 저장하세요"와 같이). 그리고 가능한 경우 실제 인터페이스를 선호하세요: CLI 명령어 또는 API 호출이 클릭보다 빠르고 신뢰성이 높으며, 에이전트는 이미 이러한 방법을 알고 있습니다. 컴퓨터 사용 기능은 다른 방법이 없는 소프트웨어에 한해서 활용해야 합니다.
컴퓨터 사용 기능은 데스크톱 앱, CLI, VS Code 계열 편집기 및 ACP 편집기에 대해 Atlarix 15.11 버전부터 탑재되었습니다. 변경 사항의 전체 목록은 changelog에서 확인할 수 있습니다.
Claude가 아닌 다른 모델도 AI 코딩 에이전트가 제 마우스와 키보드를 사용할 수 있나요?
예. Atlarix에서는 자체적인 컴퓨터 도구를 가진 모델은 이를 사용하며, 이미지를 받아들이는 다른 모든 모델도 Atlarix의 컴퓨터 도구를 받습니다. 텍스트 전용 모델은 컴퓨터 사용 기능을 사용할 수 없습니다.
컴퓨터 사용 기능이 Atlarix에서 기본적으로 활성화되어 있나요?
아니요. 기본적으로 비활성화되어 있으며, 설정(Settings), 채팅의 모델 메뉴, CLI의 /computer 또는 편집기의 설정을 통해 모델별로 켜야 합니다.
에이전트가 화면을 제어하는 동안 중지하려면 어떻게 해야 하나요?
마우스를 움직이면 됩니다. 다음 동작 요청이 거부되고 턴(turn)이 종료됩니다. 앱에서는 Esc, Ctrl+Option+Esc를 사용하거나 '중지(Stop)' 버튼도 사용할 수 있습니다.
원문 출판일: atlarix.dev