과잉 매개변수화(overparameterized)된 신경망(NN)을 높은 학습률(high-learning-rate)/규제화(regularization)로 훈련하여 catapulting/grokking을 유발함으로써, 인간과 유사한 성능을 가진 인공 신경망을 생성하기 위한 투기적 제안입니다. 진정한 일반화(generalization)로 가는 경로로서의 과잉 매개변수화는 인공 지능과 자연 지능 사이의 많은 미해결 미스터리들을 해결할 것입니다.

딥러닝과 인간 지능에 관한 많은 미스터리가 있지만, 가장 큰 이례적인 현상은 다음과 같이 설명할 수 있습니다: “왜 인공 신경망은 어리석은 방식으로 똑똑하고, 생물학적 뇌는 똑똑한 방식으로 어리석은가?”

나는 딥러닝 스케일링 패러다임의 중대한 변화를 제안합니다: 인간의 뇌와 신경망(특히 LLM) 사이의 구조적 차이는 편향-분산 트레이드오프(bias-variance tradeoff) 때문일 수 있으며, 여기서 LLM은 분산(variance)을 최소화하고 인간의 뇌는 편향(bias)을 최소화합니다. 인간의 뇌는 딥 이중 하강(deep double descent) 스타일의 과잉 매개변수화를 통해 이를 수행하며, 작고 다양하며 고도로 필터링된 데이터셋에서 극도로 과잉 매개변수화된 모델을 극도로 높은 학습률로 훈련하는 스케일링 전략을 채택합니다. 이러한 접근 방식은 데이터 샘플 효율적이고 연산 효율적으로 모델 손실 지형(loss landscape) 내에서 고도로 일반화된 인간과 유사한 분지(basin)로 이동(또는 catapulting)하게 할 것이며, 그 과정에서 마지막 단계 전까지는 성능이 낮고 많은 데이터를 암기하는 데 실패할 것입니다. 이것이 사실이라면, 인간과 신경망이 어떻게 잘하거나 못하는지에 대한 수많은 기이한 정형적 사실(stylized facts)들을 설명할 수 있을 것입니다.

이러한 'catapulted LLM'은 기존 신경망보다 훨씬 더 잘 일반화될 것이며, 적대적 공격(adversarial attacks)에 면역력을 갖고, 더 나은 경제성을 가지며, 복제에 더 강할 것이고, 잠재적으로 극도로 효율적인 MLP 구조를 가능하게 할 수 있습니다. 또한 진정한 일반화를 제공함으로써, 올바른 이유로 정렬(aligned)되고 안전한 유용한 신경망의 형태로 AI 안전(AI safety)을 위한 견고한 토대를 제공할 수 있습니다. 이는 수조 개의 매개변수를 가진 모델을 높은 순환 학습률(cyclical learning rate) 스케줄에 따라 상대적으로 적은 단계 동안 훈련하고, 산술 및 작은 이미지 분류와 같은 작업에서 적대적 사례 및 어려운 사례들을 벤치마킹함으로써 실행 가능하게 테스트될 수 있습니다.

딥러닝 (Deep Learning)이 지속적으로 규모를 확장하며 벤치마크 (Benchmarks)를 돌파하고, 어떤 의미에서는 인간의 '지능'과 상당히 유사한, 즉 최종적인 AI 패러다임이 될 것처럼 보이기 시작했기 때문에, 우리는 '지능'이 해결된 것으로 간주할 수 있습니다. 즉, 지능이란 최적의 솔루션이 상대적으로 긴 프로그램인 경우, 최적의 위치를 예측하거나 최적화하기 위해 프로그램(튜링 머신 (Turing machines) 또는 회로 (Circuits)와 같은)에 대한 탐색에 적용되는 충분한 연산량 (Compute)입니다.

(이 글은 “Guardian Angels: LLM Personalization for Productivity and Security”의 동반 기사입니다.)

규모 중심의 관점 (Scaling-centric view)은 다음과 같이 요약될 수 있습니다:

하지만 이 패러다임은 현재 매우 정확해 보임에도 불구하고, 모든 것을 설명하지는 못합니다. 우리는 여전히 이 패러다임이 설명하기에는 너무 일반론적이라서 해결하지 못하는 많은 구체적인 문제들을 안고 있습니다.

현재의 신경망 (NNs), 특히 거대언어모델 (LLMs)은 인간과 유사한 강점과 약점을 가짐으로써 지금까지 만들어진 AI 소프트웨어 중 단연 가장 인간과 닮았지만, 기계 및 생물학적 지능 사이에는 명확한 답이 없는 몇 가지 이례적인 현상 (Anomalies)들이 존재합니다.

여기에는 많은 수수께끼가 있지만, 이들은 모두 어떻게든 서로 연결되어 있는 것처럼 느껴집니다.

인간은 수십 배(multiple orders of magnitude) 적은 데이터로부터 학습하는 것처럼 보이고, (인간 뇌의 등가물에 대한 다양한 추정치를 고려할 때) 인간이 더 적은 총 연산량으로부터 학습한다는 점이 점점 더 타당해지고 있음에도 불구하고, 왜 NNs는 Chinchilla 스타일의 데이터 및 연산량 확장 (Scaling of data and compute)을 필요로 하는가? 왜 Alan Turing과 같은 수많은 연결주의 (Connectionist) 선구자들이 기대했던 것처럼, 우리는 커리큘럼과 명확한 발달 단계가 있는 아이들처럼 AI를 훈련시키지 못하는가?

많은 답변이 제시되고 있지만, 그중 만족스러운 것은 없습니다. (그리고 Rosenfeld 2021의 “Nyquist learners”와 같은 이론적 결과는 어떻게 받아들여야 할까요?)

멀티모달리티 (Multi-modality): 유용하기는 하지만, 멀티모달리티는 스케일링 법칙 (scaling law) 지수의 큰 변화를 이끌어내는 데 실패했습니다. 단일 모달리티 (unimodal) 모델들도 놀라울 정도로 잘 작동하며, 언어 모델 (language models)은 이미 방대한 양의 시각적 지식을 인코딩하고 있음이 드러났고 비전 모델 (vision models)에 쉽게 결합될 수 있습니다 (예: Flamingo, Tsimpoukelli et al 2021).

인간의 감각 입력은 실제로 방대합니다: 또 다른 흔한 설명은 인간이 더 적은 데이터로부터 학습한다는 점을 부정하고, 가공되지 않은 감각 대역폭 (raw sensory bandwidth) 관점에서 주장하는 것입니다. 만약 시각+청각+촉각이 초당 얼마만큼의 비트(bits)이고 이를 성인의 평생 동안 축적한다고 가정하면, 우리가 LLM을 훈련시키는 수조 개의 토큰 (tokens)과 훨씬 더 비슷해 보일 수 있다는 것입니다.

하지만 이는 설득력이 떨어지는데, 왜냐하면 가공되지 않은 감각 비트레이트 (raw sensory bitrate)는 무의미하기 때문입니다. 입력 데이터는 대부분 극도로 중복적이며 예측 가능합니다. (컴퓨터 화면을 응시하며 방에 앉아 있는 상황을 상상해 보십시오.) 이미지, 비디오 또는 사운드의 정보 함유량을 정량화하려는 시도들은 대개 그것들이 수백 또는 수천 개의 토큰에 해당하는 수준으로 요약되며, 그러한 모달리티 (modalities)들은 작은 모델들에 의해 쉽게 학습될 수 있음을 나타냅니다 (예: iGPT/DALL·E 1). 이러한 비대칭성은 텍스트-투-이미지 (text-to-image) 생성 모델에서 특히 두드러지는데, 여기서 텍스트 인코더 (text encoder, 보통 사후에 추가됨)는 종종 이미지 생성기 (image generator) 자체보다 훨씬 더 큽니다.

그리고 인간 측면에서 보면, 장애를 가진 사람들도 일반적인 인간보다 지능이 크게 낮지 않습니다. 청각/시각 장애인은 언어 작업에는 훨씬 서툴 수 있지만, 그들의 유동 지능 (fluid intelligence)은 종종 정상 수준을 유지합니다. 만약 감각 대역폭이

매우 중요한 문제라면 불가능할 것입니다.능동 학습 (Active Learning): 인간 아동은 오프라인 모방 학습(offline imitation learning)에 국한된 모델과 달리 환경을 탐색하거나 질문함으로써 무엇을 배울지 선택할 수 있습니다. 이론적으로, 능동 학습 및 최적 탐험은 무차별 훈련보다 훨씬 더 샘플 효율적일 수 있으며 (최소한 지수 법칙(exponential) 대 거듭제곱 법칙(power law)), 이것이 전체 격차를 설명할 수 있습니다. 하지만 아동들이 실제로 선택하는 것들을 살펴보면, 해당 데이터는 그리 놀랍지 않아 보입니다. 게다가, 최적의 베이지안 탐험(optimal Bayesian exploration)이라는 어떤 개념을 크게 위반하여, 아동들은 종종 같은 데이터 포인트—예: 동일한 YouTube 동영상을 수백 번 시청하는 것—를 학습하기로 선택합니다.1 또는 그들이 게임이나 컴퓨터를 ‘탐색’하는 것을 지켜보면, 거의 무작위로 행동하는 것처럼 보이며, 성인이 더 신중하게 생각된 탐험을 통해 훨씬 빠르게 배울 것입니다.2구현 (Embodiment): 밀접하게 관련된 주제는 “체화된 인지(embodied cognition)”라는 아이디어인데, 이는 한때 AI의 약점을 설명하는 데 매우 인기 있었습니다—AI 모델은 몸과 적절한 환경이 부족하여 상식 및 일반화 능력이 결여되어 있었기 때문입니다. 그러나 지금까지 로봇 공학 데이터로 훈련하는 ‘구현’ 방식(예: Gato)은 다른 작업으로 전이되는 것이 전혀 없었으며, 대규모 스케일링 법칙(massive scaling law gains)의 이점은 말할 것도 없고, 아이러니하게도 실제로 로봇 공학과 같은 구현된 작업들이 비구현 사전 훈련 모델(LLMs를 포함하여!)로부터 큰 이점을 얻고 있습니다.아키텍처적 마법 (Architecture Magic): 어쩌면 호모 사피엔스-스타일의 생물학적 뉴런 자체가 거의 완벽한 아키텍처이며, 이것이 격차의 대부분을 설명할 수 있습니다. 언젠가 우리는 모든 인공 뉴런들이 과거에 백전파(backpropagation)를 사용하지 않았던 것과 같은 비극적으로 명백해 보이는 실수들로 얼마나 심하게 손상되는지 이해하게 될 것이지만, 그것은 지금 우리에게 시그모이드 활성화 함수(sigmoid activation functions)를 사용하는 것처럼 여전히 미스터리로 남아 있습니다. 이 관점은 최근까지는 매우 그럴듯했지만, 많은 문제에 부딪히고 있습니다.

우선, 우리는 단순히 어떤 아키텍처의 마법도 발견하지 못했습니다. 마법을 찾을 수 있는 가장 명백한 곳은 생물학적 신경망 (NNs)의 학습 규칙일 것입니다. 역전파 (backpropagation) 대신 무엇을 사용하든 말입니다... 하지만 1949년 Hebb가 최초의 학습 규칙을 제안한 이후, 국소성 (locality)과 같은 요구 사항을 준수하는 생물학적으로 타당한 (biologically-plausible) 학습 규칙들이 많이 제안되어 왔음에도 불구하고, 모든 경우에서 이러한 학습 규칙들은 역전파 (backprop)보다 성능이 떨어지거나, 기껏해야 비슷한 수준에 그쳤습니다! Geoff Hinton의 말을 인용하자면: "어쩌면 [GPT-4]가 실제로 우리보다 훨씬 더 나은 학습 알고리즘을 가졌을지도 모릅니다."

만약 생물학적 신경망 (NNs)이 그렇게 뛰어나지 않지만 인간을 훨씬 더 뛰어나게 만드는 무언가 특별한 것이 있다면, 왜 Homo sapiens(호모 사피엔스)는 우리의 영장류 친척들과 비교했을 때 어떠한 주요한 신경과학적 돌파구도 보여주지 못하는 것일까요? 왜 우리는 유전적으로 매우 유사하며, 인간을 만드는 주요한 새로운 돌연변이를 찾는 데 실패해 왔고, 인간의 뇌는 점점 더 그저 "확장된 영장류의 뇌"에 불과해 보이는 것일까요? 만약 인간(또는 영장류)의 뇌가 진화에 의해 그토록 독특하고 효율적으로 조정되었다면, 왜 *새의 뇌 (bird brains)*는 명확한 유전적 변화를 동반하며 영장류의 뇌보다 크기와 열역학 측면에서 훨씬 더 효율적이며, 까마귀나 앵무새, 독수리와 같은 작은 새의 뇌가 돌고래, 침팬지, 혹은 인간과 거의 대등한 수준의 기이한 지능과 행동 복잡성을 보여줄 정도로 더 나은 스케일링 (scaling)을 보여주는 것일까요? 만약 인간의 지능이 그토록 최적화되어 있다면, 왜 유아기 기억상실증(childhood amnesia)이나 수십 년에 걸쳐 발달 단계를 거치며 휘청거리는 것처럼 인간의 지능은 그토록 많은 기이한 단점이나 변칙성을 보이는 것일까요? 만약 신경망 (NNs)의 역사가 우리가 진화의 완벽한 신경망을 점진적으로 재현해 나가는 과정이라면, 왜 신경과학은 그토록 유용한 영감을 거의 주지 못하는 것일까요 (이는 신경과학자들과 AI 연구자들이 끊임없이 강조하는 부분이며, 심지어 셀프 어텐션 (self-attention)과 같은 기술에 대한 "신경과학적" 영감조차도...

매우 느슨한 영감)? 왜 모든 주요한 발전이 인간의 뇌를 점점 더 생물학적으로 현실적인 세부 사항까지 역공학 (reverse-engineering) 하는 성공으로부터 나오지 않는 것일까요? 왜 전체 커넥톰 (connectome)을 스캔하는 것과 같은 신경과학 (neuroscience)의 급격한 발전은 최첨단 신경망 (NN) 모델들과 완전히 무관한 것일까요? 왜 CNN 및 Transformer를 위한 모든 스케일링 법칙 (scaling laws)은 지수 부분에서 매우 유사해 보이고, Vaswani et al 2017 이후 7년이 지난 시점에도 여전히 유효한 베이스라인 (baseline)으로 남아있을 만큼 지속적인 개선이 그토록 어려운 것일까요? 그리고 만약 우리가 이토록 근본적으로 열등한 아키텍처 (architectures)를 가지고 있다면, 왜 스케일링 법칙은 빈번하게 붕괴하거나 인간보다 훨씬 낮은 수준에서 점근선 (asymptote)에 도달할 것이라고 예측되는 대신, 그토록 매끄럽고 신뢰할 수 있는 것일까요?3반대로, 왜

신경망 (NNs)은 생물학적 뇌에 대해 거의 통찰을 제공하지 못하는가? 반대 방향으로도, 신경과학 (neuroscience)과 개별 심리학 (psychology)은 딥러닝 (DL)으로부터 거의 혜택을 받지 못했습니다. 딥러닝 (DL)은 *도구 (tools)*를 제공했고, 뇌에 대한 좋은 *예측 모델 (predictive models)*을 제공했지만, 그게 전부입니다. 심리측정학 (psychometrics)이나 신경과학 저널의 한 호를 펼쳐본다면, 딥러닝 혁명이 시작된 지 10년이 넘은 지금, 만약 딥러닝 혁명이 일어나지 않았더라도 그 호는 거의 비슷하게 보였을 것이며 2010년의 연구자에게도 완전히 이해 가능했을 것이라는 점을 언급할 수 있을 것입니다.16ya.우리가 이제 fMRI 스캔을 통해 사람이 무엇을 보고 있는지에 대한 거친 시각화로 바꿀 수 있거나, LLM을 사용하여 설문 조사를 위한 가능한 질문들을 생성할 수 있다는 점은 인상적이지만, 딥러닝 (DL)은 "유동 지능 (fluid intelligence)이란 무엇인가? 왜..."와 같은 근본적인 질문들에 대해서는 본질적으로 어떠한 주요한 통찰도 제공하지 못했습니다.

g 인자가 왜 그렇게 일반적인가? 뉴런 수나 네트워크 특성과 같은 신경해부학적 특성들이 어떻게 지능이나 다른 인지 능력을 유발하는가?” 이것은 놀라운 일이 아닌가? 우리는 이제 GOFAI(고전적 인공지 Intelligence)의 수동 설계(hand-engineering) 없이도, Gato나 GPT-4o와 같이 엄청난 일반성을 가진 모델을 처음부터 만들어 인간과 대등하거나 이를 능가하게 할 수 있습니다. 이 모델들은 여러 면에서 기묘할 정도로 인간과 유사해 보이며, 휴리스틱(heuristics)과 편향(biases)에 이르기까지 인간 인지의 수많은 측면을 재현합니다. 그런데 이러한 인공지능을 만들어낼 수 있다는 사실이 인간의 뇌에 대해...

중요한 것은 아무것도 알려주지 않는다고? 정말인가? 그렇다면 딥러닝(DL)은 그저 막다른 길일 뿐이며,

우연히 그 모든 것을 수행할 능력을 갖추었을 뿐이고, 미래의 어느 시점에 우리는 뇌와 유사한 지능으로 가는 진짜 경로를 발견하게 될 것이라는 말인가?

신경망(NNs)이 좁은 범위의 비교(narrow comparisons)에서는 샘플 효율적(sample-efficient)임에도 불구하고, 왜 신경망은 사전 학습(pretrain)을 위해 그토록 많은 데이터를 필요로 하는가?

신경망 사전 학습에 사용되는 엄청난 양의 무분별한 데이터에도 불구하고, 우리는 의구심을 갖습니다. 왜냐하면 모델들이 일대일 비교(apples-to-apples comparisons)에서 얼마나 잘 수행하는지 살펴보면, 신경망은 적은 데이터로부터 학습하는 데 있어 인간이나 생물학적 신경망(biological neural networks)만큼 대략적으로나마 성능이 뛰어난 것처럼 보이기 때문입니다.

과도한 데이터 스케일링(data-scaling)에 대한 가장 단순한 답변은 신경망이 각 데이터 포인트를 학습하는 데 서툴다는 것이겠지만, 다음과 같은 사례들을 비교해 볼 때 그것은 사실이 아닌 것 같습니다: 인컨텍스트 학습(in-context learning, 심지어 GPT-3의 경우), 매끄럽게 확장되는 전이 학습(transfer learning), 아동 규모의 데이터셋(예: SAYCam, BabyLM, TinyStories), AlphaZero가 수행한 총 바둑/체스 게임 수를 역사상 프로 인간들이 플레이한 총 게임 수와 비교하는 것, 혹은 인간의 사전 지식(priors)을 비활성화하여 학습 속도를 비교하는 것(인간 vs Transformer 메타 학습 비교 참조), 그리고 책으로부터 미지의 언어를 배우거나 가상 현실에서 닭을 키우며 그들의 시각적 능력을 Transformer와 비교하는 놀라운 실험들(또는 그 반대로, 버블 안에서 수동적으로 자랐을 때 세상에 대해 깊이 잘못된 믿음을 갖게 되는 경우).

우리는 이 명백한 모순을 어떻게 화해시킬 수 있는가?

왜 신경망은 그토록 지능적이면서도, 동시에 그토록 작은가?