멀티홉 지식 합성 (Multi-Hop Knowledge Composition)은 사전 학습 노출 (Pretraining Exposure)에

대규모 언어 모델 (Large Language Models, LLMs)은 암시적 멀티홉 추론 (implicit multi-hop reasoning)에 실패합니다. 예를 들어, 모델이 "$X$는 언제 태어났는가?"와 "$Y$의 가장 친한 친구는 누구인가?"라는 질문에는 올바르게 답하면서도, 두 사실이 완벽하게 암기되어 있고 개별적으로 검색 가능함에도 불구하고 단일 순전파 (forward pass) 과정에서 "$Y$의 가장 친한 친구는 언제 태어났는가?"라는 질문에는 실패하는 경우입니다. 우리는 사전 학습 (pretraining) 과정 중 합성적 문맥 (compositional contexts)에 노출된 개인과 그러한 문맥에 전혀 등장하지 않은 개인을 엄격히 분리한 통제된 자연어 환경에서 이러한 실패를 연구합니다. 우리는 1-홉 (1-hop) 정확도가 97%에 달할 때도 합성적 실패 (compositional failure)가 지속됨을 확인하였으며, 이를 통해 이 격차가 지식의 부재가 아닌 사전 학습의 실패임을 입증합니다. 우리는 9가지의 데이터 중심 증강 (data-centric augmentation) 형식을 제안하고 테스트하였으며, 합성적 사전 학습이 노출된 개인에 대해서는 보지 못한 질문으로 전이 (transfer)되지만, 합성적 사전 학습에서 누락된 개인에게는 결코 전이되지 않는다는 것을 발견했습니다. 이는 사전 학습 중 합성적 문맥에 대한 노출이 암시적 멀티홉 추론을 위한 필수 조건임을 시사합니다.