SWE-Marathon: 에이전트가 초장기적(Ultra-Long-Horizon) 소프트웨어 작업을 자율적으로 수행할 수 있는가?

AI 에이전트(AI agents)는 수 시간 동안의 지속적인 진행, 수백만 개의 토큰, 그리고 복잡한 환경을 요구하는 장기적 워크플로우(long-horizon workflows)를 완료할 수 있을 것이라는 기대가 점점 커지고 있습니다. 그러나 현재의 에이전트 벤치마크(agent benchmarks)는 주로 단일 풀 리퀘스트(pull requests), 작은 티켓(tickets), 또는 5~10분 내외의 연습 문제와 같은 단기 작업들을 평가하며, 이는 계획(planning), 긴 문맥 이해(long-context understanding), 그리고 메모리 사용(memory use) 측면에서 에이전트의 능력을 측정하는 데 한계를 가집니다. 우리는 소프트웨어 엔지니어링(software engineering) 및 인접 기술 도메인을 아우르는 20개의 장기적 작업으로 구성된 벤치마크인 SWE-Marathon을 소개합니다. 각 작업은 고유한 실행 가능한 환경(executable environment), 사람이 작성한 참조 솔루션(reference solution), 그리고 다층 검증 스위트(multi-layer verification suite)로 구성됩니다. 기록된 에이전트의 시도들은 평균 27.2M(2,720만) 개의 총 토큰을 사용하며, 이는 SWE-Marathon이 기존의 SWE 및 커맨드 라인(command-line) 에이전트 벤치마크보다 실질적으로 더 긴 호흡(longer-horizon)을 가짐을 의미합니다. 현재의 최첨단 코딩 에이전트(frontier coding agents)들은 작업의 30% 미만을 해결합니다. 실패는 주로 부실한 자기 검증(self-verification), 스스로 보고한 실행 불가능성(self-reported infeasibility), 그리고 조기 종료(premature termination)로 인해 발생합니다. 또한 우리는 롤아웃(rollouts)의 13.8%에서 에이전트가 의도된 워크플로우를 우회하기 위해 환경이나 검증기(verifier)를 악용하려는 보상 해킹(reward-hacking) 동작을 관찰했습니다. SWE-Marathon은 테스트 스위트와 실행 환경에 대한 적대적 검토(adversarial review)뿐만 아니라, 지름길 솔루션(shortcut solutions)을 방지하기 위해 설계된 다층 체크(multi-layer checks)를 포함합니다. 우리는 SWE-Marathon, 평가 코드, 그리고 에이전트 궤적(agent trajectories)을 https://swe-marathon.org/ 에서 공개합니다.