AI 에이전트는 도형 회전기일까요? 새로운 벤치마크를 통해 @zachtronics의 퍼즐 게임 Opus Magnum의 캠페인 퍼즐을 플레이하는

요약

Opus Magnum 퍼즐 게임을 활용하여 AI 에이전트의 추론 및 최적화 능력을 테스트하는 새로운 벤치마크를 소개합니다. Claude Fable 5와 GPT-5.5가 우수한 성능을 보였으며, 모델들이 시각 정보 없이 Python REPL을 통해 복잡한 퍼즐을 해결하는 과정을 분석합니다.

핵심 포인트

• Opus Magnum 게임을 통한 AI 에이전트의 추론 능력 벤치마크 수행
• Claude Fable 5가 GPT-5.5와 Gemini 3.5 Flash를 제치고 가장 높은 성능 기록
• 에이전트들은 시각 정보 없이 육각형 좌표 기반의 Python REPL로 플레이
• Fable 5는 인간 세계 기록의 약 80% 수준에 도달하는 성과를 보임
• GLM 5.2가 오픈 웨이트 모델 중 가장 뛰어난 성능을 기록