The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

요약

언어모델(LM)의 놀라움(surprisal)은 문맥 예측 가능성의 좋은 대리 지표로 사용되어 왔으며 비유적 신비성 평가와 관련이 있다고 알려져 왔다. 그러나 본 연구는 surprisal이 단어 빈도수와 밀접하게 연관되어 있음을 밝혀내고, 두 가지 다른 단어 빈도 측정법을 사용하여 이 상호작용을 탐구했다. 분석 결과, 모든 설정에서 단어 빈도가 surprisal보다 비유적 신비성을 더 잘 예측했으며, LM의 학습 단계에 따른 놀라움-신비성 연관성은 시간이 지남에 따라 감소하는 경향을 보였다.

핵심 포인트

• LM surprisal은 문맥 예측 가능성의 대리 지표로 사용되지만, 단어 빈도수와 강하게 상관되어 있다.
• 연구 결과, 비유적 신비성(metaphor novelty) 평가는 LM의 놀라움(surprisal)보다 단어 빈도수를 더 잘 반영한다.
• LM의 학습 단계에 따른 surprisal-신비성 연관성은 초기 최고점을 찍은 후 감소하며, 이는 surprisal-빈도수 연관성의 증가를 반영한다.
• 따라서, LM surprisal을 비유적 신비성과 처리 난도의 근본적인 지표로 해석할 때 단어 빈도를 간과해서는 안 된다.