MC-EvoBench: 마인크래프트 에이전트의 경험 기반 자가 개선 감사

요약

MC-EvoBench는 마인크래프트 환경에서 에이전트의 경험 기반 자가 개선 및 역량 전이를 평가하기 위해 설계된 통제된 벤치마크입니다. 이 벤치마크는 고정된 진화 체인을 통해 작업-상태 그래프를 정의하고, 단계별 검증기를 사용하여 지속적이고 전이 가능한 역량을 엄격하게 테스트합니다. 연구 결과, 관련 경험만으로는 안정적인 역량 전이가 어렵다는 점을 보여주었습니다.

핵심 포인트

• 에이전트의 핵심 과제는 상호작용 이력을 재사용 가능한 역량으로 변환하는 것입니다.
• MC-EvoBench는 19개의 진화 체인과 세 가지 그래프 정렬 쌍별 탐색 가족을 제공합니다.
• 평가 결과, 관련 경험은 안정적인 전이를 보장하지 못하며 직접적 역량 격차가 존재함을 확인했습니다.
• 이 벤치마크는 지속적이고 전이 가능한 구현된 역량을 테스트하는 통제된 환경을 제공합니다.