Google Deepmind는 LLM(대규모 언어 모델)이 결코 진정한 과학적 발견을 할 수 없다고 주장합니다.

그들은 알베르트 아인슈타인(Albert Einstein)의 과학적 발견에 대한 개인적인 견해를 분석한 논문을 발표했습니다.

친구 모리스 솔로빈(Maurice Solovine)에게 보낸 유명한 편지에서, 아인슈타인은 과학이 실제로 어떻게 일어나는지에 대한 도표를 그렸습니다.

그것은 순환 루프(cyclical loop)입니다.

먼저, 가공되지 않은 감각 데이터(raw sensory data)를 경험합니다. 그다음, 직관(intuition)이라는 신비롭고 비논리적인 행위를 통해 추상적인 공리(axioms)로 직관적인 "도약(jump)"을 합니다. 마지막으로, 엄격한 논리적 연역(logical deduction)을 사용하여 그 공리들로부터 결과들을 도출합니다.

생성형 AI(Generative AI)는 이 루프의 3분의 2를 완전히 마스터했습니다.

• 귀납(Induction): 수십억 개의 토큰에 걸친 통계적 패턴 매칭.
• 연역(Deduction): AlphaProof가 복잡한 수학 올림피아드 문제를 해결하는 것과 같은 형식적 증명 생성.

AI는 데이터를 처리할 수 있고 정리(theorems)를 증명할 수 있습니다.

하지만 "도약"은 할 수 없습니다.

이 논문은 AI에게 관찰 데이터가 부족할 때 새로운 설명적 가설을 생성하는 가추법(Abduction)이 완전히 결여되어 있다고 주장합니다.

지배적인 기술적 신화는 "창의성은 단지 데이터 압축일 뿐이다"라고 말합니다. 즉, LLM에 충분한 텍스트를 공급하기만 하면 과학적 돌파구가 자연스럽게 튀어나올 것이라고 말합니다.

아인슈타인의 일반 상대성 이론(General Relativity) 공식화는 그것이 망상임을 증명합니다.

아인슈타인이 상대성 이론을 공식화했을 때, 관찰 데이터가 새로운 물리학 프레임워크를 요구했던 것은 아니었습니다. 고전 역학(classical mechanics)은 여전히 엄청나게 성공적이었습니다. 그 돌파구에는 개념적 단절이 필요했습니다. 물리적 현실에서 완전히 새로운 기초 공리 세트로 향하는 직관적인 도약이 필요했습니다.

LLM은 공리가 주어지면 수학을 실행할 수 있습니다. 하지만 스스로 그러한 전제들을 공식화하는 것은 구조적으로 불가능합니다.

LLM은 기존 인간 사고 내부에서 보간(interpolate)할 수는 있지만, 그것을 초월할 수는 없습니다.

물리적 현실을 형식적 공리로 번역하는 것은 인공적 과학 발명의 절대적이고 강력한 병목 현상(bottleneck)으로 남아 있습니다.

우리는 수조 개의 파라미터를 가진 모델을 구축할 수 있습니다. 우리는 컴퓨팅(compute)을 성층권 수준으로 확장할 수 있습니다.

우리는 계산기를 무한히 빠르게 만들 수 있습니다.

하지만 우리가 접지 (grounding) 문제를 해결하기 전까지는, 기계가 우주의 모든 데이터를 처리할 수 있다 하더라도

여전히 도약할 수는 없습니다.