AdaPlanBench

요약

LLM 에이전트의 적응적 재계획 능력을 평가하는 AdaPlanBench와 시각적 추론을 위한 VideoKR 데이터셋을 소개합니다. AdaPlanBench는 가사 작업 중 발생하는 제약 조건을 통해 에이전트의 대응력을 테스트하며, VideoKR은 전문가 도메인 비디오를 활용한 고도화된 비디오 이해를 목표로 합니다.

핵심 포인트

• AdaPlanBench는 LLM 에이전트의 재계획 능력을 측정하는 벤치마크임
• 최고 성능 모델도 AdaPlanBench에서 67.75%의 정확도 기록
• VideoKR은 315,000개의 예시를 포함한 시각적 추론용 데이터셋임
• 두 연구 모두 모델의 단순 의존을 넘어선 진정한 추론 능력을 강조함