AdaExploreBench: 변화하는 환경에서 능동적 탐색 및 테스트 시간 적응을 위한 LLM 에이전트 벤치마킹

요약

본 글은 LLM 에이전트가 변화하거나 진화하는 환경에서 능동적으로 탐색하고 적응할 수 있는지 테스트하기 위한 새로운 벤치마크, AdaExploreBench를 소개합니다. 이 벤치마크는 숨겨진 규칙을 통해 환경 역학을 구현하여, 에이전트가 적극적인 증거 습득과 규칙 추론을 하도록 요구합니다. 실험 결과에 따르면, 현재 LLM 에이전트는 능동적 탐색 및 적응성 측면에서 여전히 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• AdaExploreBench: 변화하는 환경에서의 능동적 탐색/테스트를 위한 신규 벤치마크.
• 환경 역학을 숨겨진 규칙으로 구현하여 에이전트의 적극적인 추론 능력 요구.
• LLM 에이전트는 증거 습득 및 이전 지식의 유효성 인식에 어려움을 겪음.
• 적절한 증거 제공이나 규칙 드리프트 제거가 성능 향상에 크게 기여함.