ChronoCulture: 대규모 언어 모델(LLMs)의 시간 경과에 따른 문화 인식 평가

요약

본 논문은 LLMs의 한계점을 지적하며, 기존 벤치마크가 문화를 정적인 속성으로 취급하는 문제를 제기합니다. 이를 해결하기 위해 72개국에서 수집된 종단적 설문조사 데이터를 기반으로 'ChronoCulture'라는 시간적 변화를 측정하는 새로운 벤치마크를 제시했습니다.

핵심 포인트

• LLMs는 특정 시점의 문화적 태도는 예측 가능하나, 시간 경과에 따른 변화 포착은 어려움.
• 기존 LLM 벤치마크는 문화를 정적인 속성으로 취급하는 한계가 있음.
• ChronoCulture는 동일 국가의 과거/현재 설문 데이터를 활용한 종단적 벤치마크임.