LLM은 자신이 무엇을 알고 있는지 모른다: 금융 백테스팅을 위한 시간적 자기 지식 벤치마킹

대규모 언어 모델(LLMs)의 금융 백테스트는 해당 모델이 예측하도록 요청받은 결과를 이미 알고 있지 않았을 때만 의미가 있습니다. 실무자들은 이러한 상황에 대비하여 공급업체가 명시한 지식 차단 시점을 신뢰하거나, 모델에게 자신이 무엇을 아는지 질문하거나, 과거 날짜를 기준으로 답변하도록 지시하는 방식으로 방어합니다. 이러한 보호 장치들 중 어떤 것이 믿을 만한지 검증하기 위해, 우리는 1999년부터 2026년까지의 월별 거시경제 시리즈, 월말 주가 및 연방준비제도(Federal Reserve) 결정 등 2,226개의 미국 사실로 구성된 벤치마크인 FinDendro를 소개합니다. 각 사실은 네 가지 프롬프트를 생성합니다: 값 질문(value question), 그리고 각 후보 값을 선언된 날짜와 함께 알고 있다는 주장 또는 추측한다는 주장을 짝짓는 Recall 및 Predict 질문, 마지막으로 역사적 선언 날짜가 포함된 Predict 질문입니다. 지속성 및 지배적인 결과에 대한 통제는 우연 정확도를 약 0.27로 유지합니다. 그 결과들은 대부분의 최첨단 모델(frontier models)에서 자기 보고가 지식을 과소평가한다는 것을 보여줍니다. GPT-5는 제어된 사실 중 76%를 올바르게 답변하지만, 자신이 안다고 주장하는 비율은 38%에 불과하며, 자신이 모른다고 답변한 사실의 61%를 답변합니다. 지식 주장은 측정된 지식 경계를 넘어 최대 7분기까지 지속될 수 있으며, 선언된 날짜는 이전 지식 주장의 대부분을 제거하지만 정확도는 변화시키지 않습니다. 따라서 모델의 학습 기간 내에서의 백테스트 결과는 자기 보고, 지시 또는 명시된 차단 시점을 통해서도 유출되지 않았음을 인증할 수 없습니다. 이러한 발견은 시간적 지식 경계에 대한 행동 측정(behavioral measurement)을 동기 부여하며, FinDendro는 입증된 사실적 지식을 기반으로 백테스트 기간을 선택하기 위한 벤치마크와 절차를 제공합니다.