Codex가 Blender를 설치하고 단일 프롬프트만으로 3D 수달 애니메이션을 제작했으며, 인간의 클릭이 한 번 필요했다.

OpenAI Codex의 컴퓨터 사용 모드(computer-use mode)는 Blender를 설치하고 처음부터 3D 수달 애니메이션을 생성했다. 사용자(@emollick가 시연한 바에 따르면)는 Windows 권한 부여를 위해 단지 한 번 클릭만 했다.

핵심 사실 요약

• Codex가 Windows에서 Blender를 자율적으로 설치함.
• 권한 부여를 위해 사용자가 한 번 클릭함.
• 완전한 3D 수달 애니메이션을 생성함.
• 사용자는 Blender 경험이 전혀 없었음.
• @emollick이 X에 게시한 시연 영상임.

@emollick의 바이럴 데모는 OpenAI Codex의 컴퓨터 사용 기능이 Blender를 자율적으로 설치하고, 3D 수달을 모델링하며, 애니메이션까지 렌더링하는 과정을 보여준다. 이 모든 것이 단 하나의 자연어 프롬프트로 이루어졌다. 사용자 스스로는 Blender를 사용해 본 적이 없다고 말했다. 이 모델은 전체 파이프라인(full pipeline)을 관리했다: 설치 프로그램 다운로드, Windows 권한 탐색, 현장에서 Blender 인터페이스 학습, 그리고 3D 워크플로우 실행.

@emollick의 X에 게시된 이 데모는 소프트웨어 설치를 승인하기 위해 단지 한 번의 인간 클릭만을 요구했다. 나머지 모든 것—Blender 열기, 3D 메시 생성, 텍스처링, 리깅(rigging), 애니메이션 루프 생성—은 Codex의 컴퓨터 제어 기능에 의해 처리되었다.

이는 사전에 격리된 환경(sandboxed environments)이나 제한된 도구 세트 내에서 작동했던 이전 에이전트형 데모들과 비교했을 때 상당한 진보를 보여준다. Anthropic(Claude 3.5 Sonnet의 컴퓨터 사용 베타, 2024년 10월)과 Google(Project Mariner, 2024년 12월)의 이전 컴퓨터 사용 시연들은 웹 브라우징 및 양식 작성에 초점을 맞췄다. Codex의 Blender 데모는 소프트웨어 설치를 포함하여 전체 데스크톱 애플리케이션 제어 패러다임을 확장했으며, 이는 일반적으로 관리자 권한과 플랫폼별 오류 처리가 필요한 작업이다.

이것이 중요한 이유

데모는 자연어 의도와 복잡한 데스크톱 자동화 간의 거리를 좁힙니다. AI 엔지니어들에게 핵심 신호는 Blender에 대해 사전에 학습하지 않고도 예상치 못한 설치 프로그램 대화 상자, 권한 요청, 애플리케이션별 UI 레이아웃을 처리할 수 있는 모델의 능력입니다. 이는 기반이 되는 비전-언어-행동(vision-language-action) 모델이 선별된 훈련 데이터에 의존하기보다는 데스크톱 환경 전반에 걸쳐 일반화됨을 시사합니다.

실질적인 함의는 다음과 같습니다: 소프트웨어 설치 및 도메인별 소프트웨어(CAD 도구, 비디오 편집기, 데이터 분석 스위트 등) 운영이 필요한 엔터프라이즈 워크플로우가 단일 프롬프트만으로 자동화될 수 있어, 비전문 사용자들의 진입 장벽을 극적으로 낮출 수 있습니다. 반대되는 위험은 안전성입니다. 자율적인 소프트웨어 설치는 의도치 않은 시스템 수정의 경로를 열어줍니다.

향후 계획 (What's next)

@emollick에 따르면, 이 데모는 표준 Windows 컴퓨터에서 수행되었습니다. OpenAI는 Codex의 컴퓨터 사용 모드가 공개 API에서 사용할 수 있는지 아니면 내부 테스트로 제한되는지 밝히지 않았습니다. 또한 회사는 어떤 모델 버전(아마도 GPT-4o 또는 전문화된 Codex 변형)이 데모를 구동했는지 명시하지 않았습니다.

OpenAI의 다음 개발자 업데이트에서 API 가용성 세부 정보를 확인하고, Anthropic이나 Google의 경쟁사 데모 중 Codex의 데스크톱 자율성과 일치하거나 능가하는 것을 주시하십시오.

주목할 점 (What to watch)

How to Use Codex: OpenAI 2026 Computer Use & Full Guide - AICC - AI.cc

Codex 컴퓨터 사용 모드의 API 가용성에 대한 OpenAI의 다음 개발자 이벤트를 확인하십시오. 또한 Blender 설치 및 운영과 일치하는 경쟁사 데스크톱 자율성 데모를 위해 Anthropic과 Google을 주시하십시오.

_원문은 gentic.news에 게시되었습니다.