
장기 지평선 터미널 벤치마크 (Long-Horizon Terminal-Bench)
요약
새롭게 제시된 'Long-Horizon Terminal-Bench'는 46개의 장기 지평선 터미널 태스크를 평가하는 벤치마크입니다. 최고 모델인 Grok 4.5조차 평균 보상 점수가 0.505에 그쳐, 46개 중 단지 13개만 해결할 수 있는 것으로 나타났습니다.
핵심 포인트
- 장기 지평선 태스크의 난이도가 매우 높음.
- 최고 모델(Grok 4.5)도 평균 보상 점수가 낮아 성능 한계가 드러남.
- 대부분의 에이전트가 완료 전에 동력을 상실하는 문제가 있음.
46개의 장기 지평선 터미널 태스크에 대한 벤치마크로, 최고 모델(Grok 4.5)조차 평균 보상 점수 0.505를 기록하며 46개 중 단지 13개만 해결합니다. 대부분의 에이전트는 완료하기 전에 동력을 상실합니다. https://t.co/04VWllBDwA
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기