CMU의 Gym-Anything는 에이전트 환경 생성을 자동화하여 10,000개 이상의 태스크를 포함하는 CUA-World를 생성합니다. 강력한 모델들조차 대부분의 긴 태스크에서 실패하며, 이는 실제 컴퓨터 사용(computer-use) 작업이 아직 해결되지 않았음을 보여줍니다.

CMU 연구진은 모든 소프트웨어를 AI 에이전트 훈련 환경으로 변환하는 시스템인 Gym-Anything을 구축했습니다. arXiv preprint에 따르면, 결과물인 CUA-World 벤치마크는 22개 주요 직업군 전체를 아우르는 200개의 애플리케이션에 걸쳐 10,000개 이상의 태스크를 포함합니다.

주요 사실 (Key facts)

• Gym-Anything는 에이전트 훈련 환경 생성을 자동화합니다.
• CUA-World는 200개의 애플리케이션에 걸쳐 10,000개 이상의 태스크를 포함합니다.
• 22개 주요 직업군 전체를 다룹니다.
• 2-에이전트 루프(Two-agent loop): 하나는 생성하고, 하나는 감사(audit)합니다.
• 강력한 모델들도 대부분의 길고 실제적인 태스크에서 실패합니다.

대부분의 에이전트 벤치마크는 복잡하고 오래 지속되는 업무 워크플로우를 반영하지 못하는, 선별된 짧은 웹 또는 데스크톱 태스크를 테스트합니다. Gym-Anything은 arXiv 논문에 따르면, 환경 생성 자체를 에이전트의 작업으로 만듦으로써 이러한 설정 병목 현상을 해결합니다.

핵심 요약 (Key Takeaways)

• CMU의 Gym-Anything는 에이전트 환경 생성을 자동화하여 10,000개 이상의 태스크를 포함하는 CUA-World를 생성합니다.
• 강력한 모델들조차 대부분의 긴 태스크에서 실패하며, 이는 실제 컴퓨터 사용(computer-use) 작업이 아직 해결되지 않았음을 보여줍니다.

2-에이전트 루프의 작동 방식 (How the Two-Agent Loop Works)

한 에이전트는 스크립트를 작성하고, 소프트웨어를 설치하며, 실제 데이터를 로드하고, 앱을 열고, 작동을 증명하는 자료를 수집합니다. 두 번째 에이전트는 스크린샷, 로그, 파일 및 체크리스트를 사용하여 해당 증명을 감사(audit)하며, 설정이 미흡할 경우 수정 사항을 다시 보냅니다. 저자들은 이 루프를 사용하여 22개 주요 직업군 전체를 아우르는 200개 애플리케이션에 걸쳐 10,000개 이상의 태스크를 포함하는 CUA-World를 구축했습니다.

결과를 보면 강력한 모델들조차 가장 어려운 긴 태스크(long tasks) 중 아주 적은 부분만을 해결했음을 알 수 있습니다. 논문은 개별 모델의 정확한 통과율(pass rates)을 공개하지는 않았지만, 실제 컴퓨터 사용 작업은 여전히 "해결과는 거리가 멀다"고 명시했습니다. 이는 SWE-Bench와 같은 이전의 에이전트 벤치마크(benchmark) 결과와도 일치하며, 해당 벤치마크에서도 최상위 모델들이 실제적인 소프트웨어 엔지니어링 태스크에서 약 50% 정도의 한계치(ceiling)에 부딪힌 바 있습니다.

나쁜 소식: 실제 작업은 여전히 어렵다

태스크가 실제 작업처럼 길고, 여러 단계로 구성되며, 예측 불가능한 상태(state)를 갖게 되면 오늘날의 에이전트들은 많이 실패합니다. Gym-Anything의 핵심적인 기여는 방법론적인 측면에 있습니다. 즉, 에이전트 평가의 확장(scaling)을 가로막는 요인이었던 훈련 환경 구축의 수동 노동을 제거했다는 점입니다. 두 에이전트 검증 루프(two-agent verification loop)는 한 에이전트는 생성하고 다른 에이전트는 감사(audit)하는 방식을 사용하는 혁신적인 구조로, 오래되거나 잘못된 환경 설정의 위험을 줄여줍니다.

또한 이 연구는 현재의 벤치마크 생태계를 암묵적으로 비판하고 있습니다. 대부분의 평가는 기업용 소프트웨어의 롱테일 복잡성(long-tail complexity)을 포착하지 못하는 작고 수작업으로 만들어진 태스크들을 사용합니다. CUA-World는 22개 주요 직업군 전체(의료에서 건설까지)를 다룸으로써, 범용 에이전트(generalist agent) 능력에 대한 더욱 대표성 있는 테스트가 되는 것을 목표로 합니다.

한계점

Gym-Anything의 환경 품질은 감사 에이전트(auditing agent)의 신뢰성에 달려 있습니다. 만약 감사자가 버그를 놓친다면, 훈련 신호(training signal)가 저하됩니다. 논문은 감사자의 거짓 양성(false-positive) 또는 거짓 음성(false-negative) 비율을 보고하지 않았으며, 이는 실제 운영(production) 환경에서 중요한 공백입니다. 또한, 200개의 애플리케이션은 샘플일 뿐입니다. 모든 직업군을 다룬다고 해서 각 그룹 내의 모든 소프트웨어를 다 포괄한다는 의미는 아닙니다.

주목해야 할 점

CUA-World에서 모델별 통과율을 공개하는 후속 평가와, OpenAI 또는 Anthropic이 내부 레드팀(red-teaming)을 위해 Gym-Anything을 채택할지 여부를 주목해야 합니다. 만약 두 에이전트 루프가 상용 에이전트 프레임워크에 통합된다면, 에이전트 훈련 환경이 구축되는 방식을 표준화할 수 있을 것입니다.

본문은 gentic.news에 처음 게재되었습니다.