FDE-Gym: AI 전달의 마지막 단계(Last Mile)를 위한 벤치마크

요약

FDE-Gym은 기존 에이전트 벤치마크가 다루지 못했던 실제 고객 현장(Last Mile) 전달 과정을 시뮬레이션하는 새로운 벤치마크입니다. 이 벤치마크는 18개 분야의 20개 시나리오에서 파생된 95개의 엔드투엔드 과제로 구성되어 있습니다. 에이전트는 가상의 고객 시스템과 상호작용하며 모호한 요구사항을 명확히 하고, 실제 환경에서 솔루션을 전달하는 능력을 평가받습니다.

핵심 포인트

• FDE-Gym은 실제 현장(Last Mile)의 복잡성을 반영한 95개 엔드투엔드 과제로 구성됨.
• 에이전트 성능 저하의 주요 병목 지점은 명시되지 않은 제약 조건을 발견하는 능력임.
• 단순히 잘 정의된 과제를 해결하는 것과 실제 고객에게 효과적인 AI 시스템을 전달하는 것 사이에는 큰 격차가 존재함.
• 벤치마크는 이해관계자와의 상호작용 및 비즈니스 향상(business uplift)에 대한 페널티를 부과함.