Hindcast: 예측 시장을 재현하여 LLM 포캐스터 평가하기

요약

본 글은 LLM의 예측 능력을 평가하는 기존 백테스팅 방식의 한계를 지적합니다. 정보가 누출되는 두 가지 경로(검색 및 훈련 데이터)를 차단한 새로운 방법론 'Hindcast'를 제안합니다. Hindcast는 특정 과거 시점($t_0$)의 시장 스냅샷과 비교하여 모델이 오직 그 이전 정보만을 기반으로 예측하도록 평가함으로써, 진정한 통찰력을 측정할 수 있습니다.

핵심 포인트

• 기존 LLM 포캐스터 평가는 회상(recall)만 점수화하는 한계가 있음.
• Hindcast는 검색 및 훈련 데이터 누출 경로를 모두 차단하여 평가의 신뢰도를 높임.
• 모델은 오직 특정 과거 시점($t_0$) 이전 정보만을 기반으로 예측하게 됩니다.
• 평가는 시장별 커트오프가 설정되어 모델 개선에도 구식이 되지 않음.