LLM 이 역사가 될 수 있는가? 중국 과거제도를 통한 LLM 의 역사 연구 능력 평가

요약

본 논문은 LLM의 역사적 추론 능력을 평가하기 위해 중국 과거제도(Keju) 시스템을 모방한 새로운 벤치마크인 ProHist-Bench를 제안합니다. 기존 벤치마크가 단순 지식이나 어휘력에 치중했던 것과 달리, ProHist-Bench는 1,300년에 걸친 동아시아의 복잡한 역사적 맥락을 다루며 증거 기반 추론 능력을 측정합니다. 엄격한 평가 결과, 최첨단 LLM조차도 복잡하고 전문적인 역사 연구 질문에 대응하는 데 상당한 어려움을 겪는 것이 밝혀졌습니다.

핵심 포인트

• LLM의 역사적 추론 능력 평가는 기존 벤치마크로는 한계가 있다.
• ProHist-Bench는 중국 과거제도(Keju)를 기반으로 개발된, 동아시아의 심층적인 역사 지식을 요구하는 새로운 평가 도구이다.
• 이 벤치마크는 8개 왕조별 400개의 전문가 질문과 10,891개의 상세한 평가 루브릭을 포함한다.
• 평가 결과, 최신 LLM이라 할지라도 복잡하고 전문적인 역사적 추론에는 여전히 숙련도 격차가 존재함을 보여준다.