ForecastBench-Sim: 시뮬레이션 세계 기반의 예측 벤치마크

범용 AI 시스템을 위한 예측 벤치마크(Forecasting benchmarks)는 대개 현실 세계의 제약을 그대로 물려받습니다. 즉, 결과가 나타나기까지 시간이 오래 걸리고, 꼬리 사건(tail events)은 드물게 발생하며, 반사실적 질문(counterfactual questions)에 점수를 매기기가 어렵습니다. 우리는 Civilization 시리즈를 모델로 한 턴제 전략 게임인 Freeciv의 게임 롤아웃(rollouts)을 기반으로 구축된 시뮬레이션 세계 예측 벤치마크인 ForecastBench-Sim을 소개합니다. 예측가(Forecasters)는 고정된 세계 보고서(현재 게임 상태의 구조화된 스냅샷)를 받고 숨겨진 미래 상태에 대한 질문에 답합니다. 그 후 벤치마크는 시뮬레이션을 계속 진행하여 예측 결과에 점수를 매깁니다. 세계가 시뮬레이션되기 때문에, 동일한 설정을 통해 임의의 시간 지평(time horizons)에서 연속형 또는 이진(binary) 예측 질문을 생성할 수 있으며, 조건부 또는 인과적 질문을 위한 쌍을 이룬 개입 세계(intervention worlds), 그리고 드물거나 파괴적인 결과가 해결된 사례들을 생성할 수 있습니다. 우리는 벤치마크 파이프라인, 질문군(question families), 채점 프로토콜(scoring protocol), 그리고 공개된 결과물(release artifacts)을 설명하며, 모델 평가와 익명화된 인간 파일럿 테스트를 통한 검증 슬라이스(validation slices)를 보고합니다. ForecastBench-Sim은 동적인 세계 상태 하에서의 확률적 추론(probabilistic reasoning)을 연구하기 위해 통제되고 즉각적으로 해결 가능한 과제를 제공함으로써 현실 세계의 예측 벤치마크를 보완하는 것을 목적으로 합니다.