MacArena: 421개 작업 macOS 벤치마크에서 26%의 CUA 순위 역전 현상 발견

421개의 macOS 작업을 대상으로 한 MacArena 벤치마크 결과, 네이티브 (native) 작업에서 상위 모델들의 성능 격차가 26%에 달하는 것으로 나타났으며, 이는 현재의 CUA (Computer-Use Agents)가 Linux 배포판에 과적합 (overfit)되어 있음을 시사합니다.

50개의 애플리케이션에 걸친 421개의 macOS 작업을 포함하는 새로운 벤치마크인 MacArena는, Linux 포팅 (ported) 작업과 네이티브 작업 간의 상위 모델 성능 격차가 26%임을 드러냈습니다. 이러한 순위 역전 (ranking inversion)은 현재의 컴퓨터 사용 에이전트 (Computer-Use Agents, CUAs)가 진정한 교차 플랫폼 GUI 역량을 숙달하기보다는 Linux 작업 분포에 과적합되어 있음을 시사합니다.

주요 사실

• 50개 애플리케이션에 걸친 421개의 수동 검증된 작업
• OSWorld 및 macOSWorld 포팅 버전을 넘어 49개의 새로운 macOS 네이티브 작업 추가
• MacArena 서브셋 (subset)에서 상위 모델이 26% 이상 뒤처짐
• 네이티브 가상화 프레임워크 (Virtualization framework)를 통해 Apple Silicon에서 실행
• Linux 포팅 작업과 macOS 네이티브 작업 간의 모델 순위 역전

컴퓨터 사용 에이전트 (CUAs)는 OSWorld와 같은 Linux 기반 벤치마크에서 빠르게 발전해 왔으나, Victor Muryn, Maksym Shamrai, Sofiia Mazepa 및 동료들이 발표한 새로운 논문(2026년 6월 4일 arXiv에 제출됨)은 해당 분야에서의 강력한 성능이 견고한 GUI 기술보다는 작업 분포에 대한 익숙함을 반영하는 것일 수 있다고 주장합니다. 저자들은 OSWorld 작업의 선별된 포팅 버전, macOSWorld에서 가져온 콘텐츠, 그리고 49개의 새로운 macOS 네이티브 작업을 결합하여 50개 애플리케이션에 걸친 421개의 수동 검증된 작업 벤치마크인 MacArena를 소개합니다. 결정적으로, MacArena는 Apple Silicon에서 Apple의 네이티브 가상화 프레임워크 (Virtualization framework) 상에서 실행되므로, 이전의 macOSWorld 벤치마크가 가졌던 x86 VM 호환성 문제를 피할 수 있습니다.

왜 macOS가 현재의 에이전트들에게 더 어려운가

이 논문의 핵심 발견은 포팅된 (ported) 작업과 macOS 네이티브 (native) 작업 사이에서 모델 순위가 역전된다는 점입니다. 선두 모델이 MacArena 하위 집합에서는 26% 이상 뒤처지는 결과가 나타났으며, 이는 macOS가 현재의 GUI 에이전트(GUI agents)들에게 진정으로 더 어려운 환경을 제공함을 시사합니다. 저자들은 macOS가 Linux 기반 벤치마크가 포착하는 것 이상의 독특한 GUI 과제들을 제시한다고 주장하며, 여기에는 서로 다른 창 관리 (window management), 메뉴 구조, 그리고 접근성 트리 (accessibility tree) 형식이 포함됩니다. 이는 다양한 환경에서 테스트했을 때 AI 코딩 어시스턴트의 한계를 드러냈던 MIT와 Anthropic의 최근 연구 결과([arXiv 프리프린트 참조])와 맥을 같이 합니다.

에이전트 평가에 미치는 시사점

MacArena의 421개 작업은 Finder 및 Safari와 같은 Apple의 퍼스트 파티 (first-party) 앱과 서드 파티 (third-party) 도구를 포함하여 50개의 애플리케이션을 다룹니다. 이 벤치마크는 온라인 평가 (online evaluation)를 위해 설계되었으며, 이는 에이전트가 정적인 스크린샷이 아닌 실제 macOS 환경과 상호작용함을 의미합니다. 덕분에 이 방식은 평가뿐만 아니라 강화학습 (reinforcement learning) 훈련에도 적합합니다. 저자들은 기존의 유일한 macOS 벤치마크인 macOSWorld가 더 단순한 작업과 함께 좁은 범위의 퍼스트 파티 애플리케이션만을 다루고 있으며, x86 VM 요구 사항으로 인해 대부분의 macOS 에이전트가 실제로 구동되는 Apple Silicon 하드웨어와 호환되지 않았다는 점을 지적했습니다.

Linux 벤치마크를 압도하던 모델이 macOS 네이티브 작업에서는 26% 뒤처지는 이러한 순위 역전(ranking inversion) 현상은, 현재의 CUA(Computer Use Agents)가 일반화 가능한 GUI 상호작용 기술보다는 표면적인 패턴을 학습하고 있음을 시사합니다. 이는 Apple의 최근 AI 행보를 고려할 때 특히 유의미합니다. 보도에 따르면 Apple은 WWDC 2026에서 Siri를 위해 1.2T 파라미터 규모의 Gemini 모델을 준비하고 있으며 [이전 보도 참조], AI 쿼리를 Google Cloud로 라우팅해 왔습니다 [이전 보도 참조]. 만약 Apple의 커스텀 모델이 온디바이스 에이전트(on-device agents)를 구동하고자 한다면, 현재의 벤치마크가 포착하지 못하는 macOS 특유의 GUI 상호작용을 처리할 수 있어야 합니다.

주목해야 할 점

Apple이 WWDC 2026(6월 8일~12일)에서 공개될 Siri용 1.2T 파라미터 Gemini 모델의 내부 평가 도구로 MacArena를 채택할지 주목해야 합니다. 만약 Apple의 에이전트가 MacArena의 네이티브 작업에서 높은 점수를 기록한다면, 이는 현재 모델들이 보이는 Linux 과적합(overfitting)과 대비되는 진정한 macOS GUI 역량을 갖추었음을 의미할 것입니다.

출처: arxiv.org

원문 게시지: gentic.news