AI 에이전트(AI agents)는 새로운 정보가 도착함에 따라 이에 적응해야 하는 역동적이고 개방적인 환경에 점점 더 많이 배치되고 있습니다. 현실적인 사용 사례(use-cases)에 대해 이러한 능력을 효율적으로 측정하기 위해, 우리는 실제 세계의 사건들을 발생한 순서대로 재현하는 근거 기반 시뮬레이션(grounded simulations) 구축을 제안합니다. 우리는 에이전트가 지식 차단 시점(knowledge cutoff) 이후의 세계 사건을 예측하는 동시에, 세계의 연대기적 재현(chronological replay)과 상호작용하는 FutureSim을 구축했습니다. 여기서 연대기적 재현이란 시뮬레이션 기간 동안 도착하는 실제 뉴스 기사와 해결되는 질문들을 의미합니다. 우리는 프런티어 에이전트(frontier agents)를 고유의 하네스(harness)에서 평가하며, 2026년 1월부터 3월까지의 3개월 동안 세계 사건을 예측하는 능력을 테스트합니다. FutureSim은 에이전트들의 능력에서 명확한 차이를 드러내며, 가장 뛰어난 에이전트의 정확도는 25%였고, 많은 에이전트가 예측을 전혀 하지 않는 것보다 더 낮은 브라이어 기술 점수(Brier skill score)를 보였습니다. 세심한 절제 연구(ablations)를 통해, 우리는 FutureSim이 장기 테스트 시간 적응(long-horizon test-time adaptation), 탐색(search), 메모리(memory), 그리고 불확실성에 대한 추론(reasoning about uncertainty)과 같은 신흥 연구 방향을 연구할 수 있는 현실적인 환경을 제공함을 보여줍니다. 전반적으로, 우리는 우리의 벤치마크 설계가 실제 세계에서 긴 시간 지평(long time-horizons)에 걸친 개방형 적응(open-ended adaptation)에 대한 AI의 발전을 측정하는 길을 열어주기를 바랍니다.