IBM 연구진, 정적인 LLM 에이전트 리더보드에 의문 제기

요약

IBM 연구진이 현재의 정적인 LLM 에이전트 리더보드가 실제 배포 환경의 성능을 제대로 반영하지 못한다고 지적하며, 새로운 평가 방식인 '예측 타당성'을 제안합니다.

핵심 포인트

• 기존 LLM 에이전트 벤치마크 점수와 실제 성능 간의 괴리 지적
• 표본 내 순위가 표본 외 성능을 얼마나 잘 예측하는지가 핵심
• 단순 점수 중심이 아닌 예측 타당성 기반의 새로운 평가 체계 제안