선형 연관 기억에서의 사실적 회상: 날카로운 점근적 분석 및 기계론적 통찰

대규모 언어 모델(LLM)은 사실적 회상에서 놀라운 능력을 보여주지만, 신경망으로 입력-출력 연관성을 저장하고 검색하는 근본적인 한계는 여전히 불분명합니다. 우리는 최소한의 설정, 즉 $ ext{p}$개의 입력 임베딩을 $ ext{R}^d$ 공간에 매핑하여 단일 레이어를 통해 해당 $d$-차원 타겟으로 변환하는 선형 연관 기억(linear associative memory)에서 이러한 한계를 연구합니다. 이 과정은 각 매핑된 입력이 다른 모든 타겟으로부터 잘 분리되도록 요구하며, 이는 지도 학습 분류(supervised classification)와는 다릅니다. 이러한 엄격한 분리는 연관성당 $ ext{p}$개의 제약 조건을 유도하고, 제약 조건들 사이에 강한 상관관계를 발생시켜 직접적인 특성 분석을 어렵게 만듭니다.

저희의 분석은 또한 최적 해가 단순한 Hebbian 학습 규칙보다 어떻게 개선되는지에 대한 기계론적 통찰을 제공합니다: 최적 해는 광범위한 변동으로 입력-출력 정렬(input-output alignments)을 높이는 대신, 경쟁하는 출력에 의해 설정된 극값 임계치(extreme-value threshold) 바로 위에 올바른 점수들을 끌어올립니다. 이러한 발견들은 선형 네트워크에서의 사실적 저장(factual storage)에 대한 날카로운 통계물리학적 특성화(statistical-physics characterisation)를 제공하며, 보다 현실적인 신경 구조(neural architectures)의 메모리 용량을 이해하기 위한 기준선(baseline)을 제시합니다.