Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM이 개별 사실을 알고 있음에도 이를 결합해 추론하는 멀티홉 추론에 실패하는 현상을 분석합니다. 연구 결과, 이러한 실패는 지식의 부재가 아닌 사전 학습 과정에서 합성적 문맥에 노출되지 않았기 때문임을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (Large Language Models, LLMs)은 암시적 멀티홉 추론 (implicit multi-hop reasoning)에 실패합니다. 예를 들어, 모델이 "$X$는 언제 태어났는가?"와 "$Y$의 가장 친한 친구는 누구인가?"라는 질문에는 올바르게 답하면서도, 두 사실이 완벽하게 암기되어 있고 개별적으로 검색 가능함에도 불구하고 단일 순전파 (forward pass) 과정에서 "$Y$의 가장 친한 친구는 언제 태어났는가?"라는 질문에는 실패하는 경우입니다. 우리는 사전 학습 (pretraining) 과정 중 합성적 문맥 (compositional contexts)에 노출된 개인과 그러한 문맥에 전혀 등장하지 않은 개인을 엄격히 분리한 통제된 자연어 환경에서 이러한 실패를 연구합니다. 우리는 1-홉 (1-hop) 정확도가 97%에 달할 때도 합성적 실패 (compositional failure)가 지속됨을 확인하였으며, 이를 통해 이 격차가 지식의 부재가 아닌 사전 학습의 실패임을 입증합니다. 우리는 9가지의 데이터 중심 증강 (data-centric augmentation) 형식을 제안하고 테스트하였으며, 합성적 사전 학습이 노출된 개인에 대해서는 보지 못한 질문으로 전이 (transfer)되지만, 합성적 사전 학습에서 누락된 개인에게는 결코 전이되지 않는다는 것을 발견했습니다. 이는 사전 학습 중 합성적 문맥에 대한 노출이 암시적 멀티홉 추론을 위한 필수 조건임을 시사합니다.