인간과 유사한 언어를 생성하는 신경망(neural networks)의 최근 성공은 인지 과학 분야에 상당한 파장을 일으켰으며, 많은 연구자들은 인간 인지에 관한 고전적인 퍼즐과 인공지능(AI)에 대한 도전 과제들이 신경망에 의해 해결되고 있다고 주장하고 있습니다. 주목할 만한 사례는 Jerry Fodor와 Zenon Pylyshyn이 제기한 체계성(systematicity)에 근거한 논증으로, 이는 인간이 체계적인 쌍조건부 의존성(biconditional dependencies)을 보여준다는 주장입니다. 예를 들어, 누군가가 "John saw Mary"라는 문장을 이해할 수 있다면, 그들은 "Mary saw John"이라는 문장도 이해할 수 있습니다. 기호 체계(Symbolic systems)는 언어와 사고의 이러한 체계성을 설명하지만, 신경망은 즉각적인 설명을 제공하지 못합니다. 최근 여러 논문은 신경망이 이제 이 도전에 직면하여 이를 해결했다고 주장합니다. 특히, Brenden Lake와 Marco Baroni는 그들의 구성성(compositionality)을 위한 메타 학습(meta-learning) 프로토콜이 인간의 체계성과 일치하며 어쩌면 이를 설명할 수도 있다고 주장합니다. 우리는 이러한 결론이 성급하다고 입증합니다. 다른 결과들과 더불어, 우리는 그들의 모델이 훈련 데이터와 비교하여 분포 외(out of distribution)인 규칙을 학습하는 데 어려움을 겪는다는 것을 발견했습니다. 더욱이, 해당 모델은 분포 내(within-distribution)의 많은 문제들에 대해서도 비체계적으로 동작합니다. 우리는 신경망에 대한 Fodor와 Pylyshyn의 도전이 여전히 해결되지 않은 채 남아 있다는 결론을 내립니다.