예측 가능한 환각: LLM의 사실적 회상 (Factual Recall)은 모델 크기와 주제 빈도에 따라 확장된다

요약

LLM의 사실적 회상(Factual Recall) 성능이 모델 파라미터 수와 학습 데이터 내 주제 빈도의 로그 선형 결합에 따라 시그모이드 형태로 확장됨을 밝혀냈습니다. 연구 결과, 이 두 변수만으로 모델 간 성능 분산의 상당 부분을 설명할 수 있으며, 이는 회상 능력이 신호 대 잡음비(SNR)에 의해 제어된다는 이론과 일치합니다.

핵심 포인트

• 사실적 회상 성능은 모델 크기와 주제 빈도의 로그 선형 결합에 따른 시그모이드 형태를 따름
• 두 변수만으로 밀집 모델 간 성능 분산의 60%, 제품군 내에서는 74~94%를 설명 가능
• 신호 강도는 개념 빈도에 따라 확장되고, 잡음 바닥은 모델 용량에 따라 확장됨
• 회상 품질이 신호 대 잡음비(Signal-to-noise ratio)에 의해 제어된다는 중첩 기반 설명과 일치함