사전 학습 노출(Pretraining Exposure)이 대규모 언어 모델(LLMs)의 인기 판단을 설명한다

대규모 언어 모델(LLMs)은 잘 알려진 엔티티(entities)에 대해 체계적인 선호도를 보이는데, 이러한 현상은 흔히 인기 편향(popularity bias) 때문인 것으로 간주됩니다. 그러나 대부분의 학습 코퍼스(training corpora)에 접근할 수 없기 때문에, 이러한 선호도가 실제 세계의 인기를 반영하는 것인지 아니면 사전 학습(pretraining) 과정 중의 통계적 노출(statistical exposure)을 반영하는 것인지 그 정도는 여전히 불분명합니다. 우리는 완전히 관찰 가능한 사전 학습 데이터에 기반하여 인기 편향에 대한 최초의 직접적이고 대규모인 분석을 제공합니다. 공개된 OLMo 모델과 그 전체 사전 학습 코퍼스인 Dolma를 활용하여, 우리는 7.4조 개의 토큰에 걸쳐 정밀한 엔티티 수준의 노출 통계를 계산합니다. 우리는 5가지 유형(인물, 장소, 조직, 예술, 제품)에 걸친 2,000개의 엔티티를 분석하고, 사전 학습 노출을 Wikipedia 페이지 조회수 및 두 가지 유도된 LLM 인기 신호(직접적인 스칼라 추정 및 쌍체 비교(pairwise comparison))와 비교합니다. 우리의 결과는 사전 학습 노출이 Wikipedia의 인기와 강력하게 상관관계가 있음을 보여주며, 이는 노출이 학습 기간 동안 실제 세계의 현저성(salience)을 나타내는 의미 있는 대리 지표(proxy)임을 입증합니다. 더 중요한 것은, LLM의 인기 판단이 Wikipedia보다 노출과 더 밀접하게 일치한다는 것을 발견했으며, 이는 특히 쌍체 비교를 통해 유도될 때 더욱 그러합니다. 이러한 일치성은 더 큰 모델에서 가장 강력하게 나타나며, Wikipedia의 인기가 신뢰할 수 없게 되는 롱테일(long tail) 영역에서도 지속됩니다. 전반적으로, 우리의 연구 결과는 LLM의 인기 사전 확률(popularity priors)이 외부의 인기 신호보다는 주로 사전 학습 통계에 의해 형성된다는 것을 보여주며, 데이터 노출이 인기 편향을 유도하는 데 중심적인 역할을 한다는 구체적인 증거를 제공합니다.