포캐스터는 백테스팅(backtesting)으로 평가되는데, 이는 이미 해결된 질문들을 재현하고 결과가 알려지기 전에 시스템이 할당했을 확률에 점수를 매기는 방식입니다. LLM의 경우, 두 가지 채널에서 답이 이 테스트로 새어 나옵니다. 검색을 수행하는 모델은 이벤트 이후에 작성된 보고서를 표면화하여 포캐스팅을 단순한 조회(lookup)로 만들고, 각 새로운 모델은 사건에 더 가까운 데이터로 훈련되기 때문에 작년 모델들에게는 미래였던 질문이 올해의 훈련 데이터 안에 놓이게 됩니다. 어느 쪽이든 이 테스트는 통찰력(foresight)을 평가한다고 주장하면서도 회상(recall)만을 점수화합니다. 우리는 Hindcast를 소개하는데, 이는 두 가지 누출 경로를 모두 차단하여 모델을 결과가 어떤 채널에 존재하기 전의 특정 과거 시점 $t_0$에 서 있는 것처럼 평가합니다. Hindcast는 해결된 Polymarket 예측 시장을 공개 Reddit의 고정 스냅샷과 대조하여 재현하고, 모델이 오직 $t_0$ 이전에 작성된 게시물만 읽도록 하며, 각 포캐스트를 발생한 실제 결과와 $t_0$ 시점의 시장 자체 가격(역시 동일한 과거 정보로 만든 인간의 예측) 모두에 대해 점수를 매깁니다. 커트오프가 시장별로 설정되고 스냅샷은 절대 변하지 않기 때문에, 평가는 모델이 개선되어도 새로운 시장에서 재실행되며 구식이 되지 않습니다. 누출 경로가 차단된 후에도 검색은 여전히 대부분의 모델에게 도움이 되지만, Reddit이 사전에 이벤트를 논의한 경우에만 그렇습니다. 아카이브가 오직 추측만을 담고 있었다면, 검색은 오히려 방해가 됩니다.