PlanBench-XL

요약

LLM 에이전트의 장기 계획 수립 능력을 평가하기 위한 새로운 벤치마크인 PlanBench-XL을 소개합니다. 도구의 실패나 정보 오류 등 복잡한 상황에서의 에이전트 성능을 측정하며, GPT-5.4 모델의 성능 변화를 분석합니다.

핵심 포인트

• 1,665개의 도구와 327개의 소매 태스크로 구성된 벤치마크
• 도구 실패 및 잘못된 정보 제공 등 장기 계획 능력 테스트
• 심각한 차단 상황 발생 시 GPT-5.4의 성능 급락 확인