대부분의 에이전트 벤치마크는 몇 분 만에 끝납니다. 하지만 실제 터미널 작업은 그렇지 않습니다.

저희는 AI 에이전트가 단순히 작업을 시작하고 쉬운 첫 단계를 해결하는 것을 넘어, 수백 개의 의존적인 행동 전반에 걸쳐 진전을 유지할 수 있는지 측정하도록 설계된 벤치마크인 Long-Horizon Terminal-Bench (LHTB)를 소개합니다.

LHTB는 다음을 포함합니다:

→ 9가지 카테고리에 걸친 46개의 재현 가능한 터미널 작업
→ 동일한 Terminus-2 하네스(harness)로 평가된 18개 프론티어 모델
→ 작업당 최대 90분 및 약 120–320 에이전트 단계
→ 지름길과 리워드 해킹에 저항하는 숨겨진, 리플레이 기반 검증기(verifier)
→ 의미 있는 진전이 이진수 0으로 평준화되지 않도록 하는 연속적인 부분 점수(partial credit)

우리는 무엇을 발견했습니까?

• 평균 보상(mean reward)은 단지 0.505에 불과합니다.
• 어떤 모델도 벤치마크의 3분의 1조차 해결하지 못했습니다.
• 46개 작업 중 29개는 어떤 모델에 의해서도 해결된 적이 없습니다.
• 추론 비용(inference cost)이 높다고 해서 반드시 더 나은 성능을 의미하는 것은 아닙니다.

오늘날의 에이전트는 종종 어려운 워크플로우를 시작할 수 있습니다. 하지만 더 어려운 질문은 그들이 상태를 보존하고, 막다른 길에서 회복하며, 자신의 작업을 검증하고, 실제로 완료할 수 있느냐는 것입니다.

장기 지평선(Long-horizon) 실행은 여전히 광범위하게 열려 있는 영역입니다.

비디오와 논문, 코드, 결과, 샘플 실행 및 리더보드를 확인해 보세요: