대부분의 에이전트 벤치마크는 몇 분 만에 끝난다. 실제 터미널 작업은 그렇지 않다.

요약

본 기사는 AI 에이전트의 실제 터미널 작업 능력을 측정하기 위해 Long-Horizon Terminal-Bench (LHTB)를 소개합니다. LHTB는 9가지 카테고리에서 46개의 재현 가능한 작업을 포함하며, 최대 90분 동안 진행되는 장기 실행을 통해 에이전트의 지속적인 진전 능력을 평가합니다. 테스트 결과, 대부분의 모델은 이 복잡한 벤치마크를 해결하는 데 어려움을 겪었습니다.

핵심 포인트

• LHTB는 실제 터미널 작업의 난이도를 반영하여 설계되었습니다.
• 평가된 모델들은 장기적이고 복잡한 워크플로우에서 성능 부족을 보였습니다.
• 에이전트에게 상태 유지, 회복력, 검증 능력이 중요합니다.
• 장기 지평선(Long-horizon) 실행은 여전히 연구가 필요한 영역입니다.