사전 학습 노출(Pretraining Exposure)이 대규모 언어 모델(LLMs)의 인기 판단을 설명한다

요약

본 연구는 LLMs가 특정 엔티티에 대해 보이는 '인기 편향'의 원인을 분석하며, 이 선호도가 실제 세계의 인기를 반영하는지 아니면 학습 과정 중의 통계적 노출을 반영하는지 탐구합니다. 공개된 OLMo 모델과 Dolma 코퍼스를 활용하여 7.4조 개의 토큰에 걸쳐 엔티티 수준의 노출 통계를 계산하고, 이를 Wikipedia 조회수 및 LLM 유도 인기 신호와 비교했습니다. 연구 결과, LLMs의 인기 판단은 외부적인 Wikipedia 인기도보다 사전 학습 과정에서의 '노출'과 훨씬 더 강하게 상관관계를 보이며, 이는 데이터 노출이 LLM의 인기 편향을 형성하는 핵심 동인임을 입증합니다.

핵심 포인트

• LLMs의 엔티티 선호도(인기 편향)는 실제 세계의 인기도보다는 사전 학습 과정에서의 통계적 '노출'에 의해 주로 결정된다.
• 연구진은 OLMo 모델과 Dolma 코퍼스를 사용하여 7.4조 개의 토큰에 걸친 정밀한 노출 통계를 계산했다.
• LLM이 생성하는 인기 판단(특히 쌍체 비교를 통해 유도될 때)은 Wikipedia의 실제 인기도보다 사전 학습 노출과 더 밀접하게 일치한다.
• 이러한 노출 기반의 편향성은 모델 크기가 커질수록, 그리고 롱테일 영역에서도 강력하게 유지된다.