패턴 매칭으로서의 추론: 인간과 LLM 일상적 추론에서의 공유 메커니즘

대규모 언어 모델(LLMs)이 일반화에 실패하거나 추론 과정에서 무작위적인 오류를 범할 때, 이는 종종 LLMs가 진정으로 추론하는 것이 아니라 일종의 패턴 매칭을 수행하고 있다는 증거로 간주됩니다. 그 함의는 인간의 행동 역시 동일한 유형의 실패를 보이지 않는다는 것인데, 이는 인간의 추론이 원칙적이고 추상적인 세계 모델을 사용하기 때문입니다. 우리는 다양한 일상 상황에 대한 상식적 추론 능력에 대해 인간 참가자들과 25개의 LLMs를 평가하고, 사람과 모델 모두에서 유사한 오류 패턴을 관찰했습니다. 그런 다음 저희는 LLM의 응답을 구동하는 어텐션 헤드(attention heads)들의 집합을 식별하고, 이들이 일종의 패턴 매칭 형태를 구현하고 있음을 발견했습니다. 이러한 어텐션 헤드는 겉보기에 관련 없어 보이는 프롬프트 세부 사항에 의해 발생하는 사람들의 설명하기 어려운 추론 오류까지 예측할 수 있게 합니다. 종합적으로 볼 때, 우리의 결과는 인간과 LLMs의 일상적 인과 추론이 추상적인 세계 모델보다는 패턴 매칭 형태와 더 일관성이 있음을 시사합니다.