LLM의 사실적 정보 검색은 중복적이고 분산적이며 비연속적인 과정이다

대규모 언어 모델 (LLMs)은 사실적 지식을 저장하고 회상하지만, 특정 속성 검색 (attribute retrieval)을 가능하게 하기 위해 엔티티 표현 (entity representations)이 어떻게 변환되는지에 대한 정확한 메커니즘은 아직 충분히 연구되지 않았습니다. 본 연구에서는 타겟 속성을 이끌어내는 데 필요한 엔티티 표현상의 일련의 계산 단계인 "속성 계산 경로 (attribute-computation path)"라는 관점을 통해 이 메커니즘을 조사합니다. 그런 다음, 이 계산에 필요한 최소한의 레이어 (layers) 하위 집합을 식별하기 위한 반복적 패칭 프로토콜 (iterative patching protocol)을 제안합니다. LLaMA 3.1 8B 및 Qwen3 8B에 우리의 방법을 적용한 결과, 이러한 경로들은 비연속적(non-contiguous)이며 종종 레이어를 건너뛴다는 것을 발견했습니다. 또한 모델은 동일한 엔티티와 사실에 대해 기능적으로 동일한 여러 경로를 보유하고 있으며, 이는 속성 계산에서 높은 수준의 중복성 (redundancy)을 나타냅니다. 이는 지식 계산이 매우 분산되어 있음을 의미하며, 잠재적으로 국소화-편집 불일치 (localization-editing mismatch) 현상을 설명할 수 있습니다. 또한 LLM에서의 지식 저장 및 검색이 아직 제대로 이해되지 않았음을 시사합니다.