대규모 언어 모델의 비문자적 기억 연구 재검토: 엔티티 표면 형태의 역할

요약

본 논문은 대규모 언어 모델(LLMs)의 사실 지식 기억 방식을 분석하며, 기존 엔티티 기반 QA 프레임워크가 가진 한계를 지적합니다. 연구진은 위키백과 리디렉트 정보를 활용하여 다양한 표면 형태를 포함하는 새로운 데이터셋 RedirectQA를 제안했습니다. 실험 결과, LLMs는 엔티티의 이름(표면 형태)이 조금만 바뀌어도 예측 결과가 달라지는 '일관성 부재'를 보였으며, 이는 모델이 철자 변이보다는 별칭이나 약어 같은 큰 어휘적 변화에 더 취약함을 시사합니다.

핵심 포인트

• LLMs의 사실 지식 기억을 평가할 때 엔티티 표면 형태의 다양성을 고려하는 것이 필수적이다.
• 기존 QA 프레임워크는 단일 표준 표면 형태로만 쿼리하여 실제 사실 기억 능력을 제대로 측정하기 어렵다.
• 모델은 철자상의 미세한 변이보다는 별칭이나 약어와 같은 큰 어휘적 변화에 대해 더 취약하다.
• 사실 기억 능력은 단순히 표면 특이적이거나 완전히 표면 불변적이지 않으며, 엔티티 빈도가 중요하게 작용한다.