AI 모델 연구를 통해 도달한 이론적 신경과학의 주요 돌파구

AI 모델을 다루면서, 저는 지금까지 진행해 온 연구(이론적 신경과학 분야)에서 가장 중요한 순수 이론적 돌파구를 발견했습니다:

카오스 시스템은 흔히 나비 효과라고 불리는 현상을 보여주는데, 이는 초기 상태에 가하는 미세한 변화가 시간에 따라 지수적으로 커진다는 것을 의미합니다. 이 변화가 얼마나 빠르게 커지는지는 그 방향에 따라 다릅니다. 각 방향은 고유의 성장률을 가지며, 이를 리아푸노프 지수(Lyapunov exponent)라고 부르고, 이러한 모든 성장률들의 집합을 리아푸노프 스펙트럼(Lyapunov spectrum)이라고 합니다.

리아푸노프 스펙트럼은 카오스의 풍부한 (그리고 미분동형사상 불변인) 특성화 지표로, 몇 개의 방향이 카오스적인지, 끌개(attractor)가 차지하는 차원이 얼마나 되는지, 그리고 동역학이 정보를 얼마나 빠르게 생성하는지를 알려줍니다.

1988년, Sompolinsky, Crisanti, 그리고 Sommers는 N개의 무작위로 결합된 뉴런에 대한 비선형 재귀 네트워크 모델을 발표했는데, 이 모델은 결합 강도가 임계값을 초과할 때 카오스 상태가 됩니다. 이 네트워크는 이후 이론적 신경과학의 초석이 되었으며, 대뇌 피질의 자발적 활동 모델이자 과제에 대한 재귀 네트워크 훈련의 출발점 역할을 했습니다. 저는 제 연구 기간 동안 이 모델을 많이 다루었습니다.

같은 논문에서 저자들은 슈뢰딩거 방정식의 바닥 상태 에너지로부터 가장 큰 리아푸노프 지수를 얻었으며, 전체 리아푸노프 스펙트럼을 미해결 문제로 남겨두었습니다. 2023년, Engelken 등이 (Physical Review Research)에서 아름다운 연구를 통해 전체 리아푸노프 스펙트럼을 수치적으로 계산했습니다. 하지만 전체 리아푸노프 스펙트럼에 대한 해석적 계산은 여전히 어려움이었습니다.

문제가 제기된 지 40년 만에, 이 논문은 간단한 자기 일관성 단일 사이트 문제로부터 큰 N에서의 전체 리아푸노프 스펙트럼을 도출합니다.

이 계산은 세 단계로 이루어져 있습니다.

먼저, 모든 지수(exponent)에서 상수 $s$를 빼서, '얼마나 많은 지수가 $s$ 아래에 존재하는가?'라는 질문을 '몇 개의 접선 방향이 감쇠하는가?'라는 질문으로 바꾼다. 우리는 변위된 접선 동역학(shifted tangent dynamics)을 소스(source)로 구동하고 최소 노름 해(minimum-norm solution)를 취하면, 1단계 응답(one-step response)이 감쇠 방향에 대한 프로젝터(projector)가 된다는 것을 보여준다. 따라서 이 프로젝터의 트레이스(trace)가 감쇠하는 방향의 개수를 센다. 이 단계는 유한 $N$에서도 정확하다.

둘째, 최소 노름 해를 다루기 위해, 이를 최소 제곱 문제(least-squares problem) 해의 소멸 정규화 극한(vanishing-regularization limit)으로 간주한다. 이 정규화된 해는 차례로 한 필드(field)가 시간 흐름에 따라 전진하고 다른 필드가 역행하는 동역학 시스템을 해결한다.

셋째, 캐비티 방법(cavity method)을 적용하는데, 즉 네트워크에 뉴런 하나를 추가하고 그 뉴런의 전방 및 후방 필드를 함께 고려한다. 그러면 나머지 네트워크가 이 뉴런에 미치는 영향은 이 뉴런의 활동에 대한 고전적인 동역학 평균장 설명(dynamical mean-field description)으로 축소되며, 여기에 시간 전체에 걸쳐 이 뉴런의 전방 및 후방 필드들을 서로 연결하는 두 개의 커널(kernel)이 추가된다. 따라서 완전한 리아푸노프 스펙트럼(Lyapunov spectrum)은 단일 사이트 문제(single-site problem)로부터 얻어지며, 이는 이러한 커널들의 자기 일관성 계산(self-consistent calculation)으로 귀결된다.

도출된 이론은 리아푸노프 스펙트럼, 끌개 차원(attractor dimension), 엔트로피율(entropy rate)에 대한 시뮬레이션과 매우 가깝게 일치하며, 가장 큰 리아푸노프 지수에 대한 Sompolinsky, Crisanti, 그리고 Sommers의 슈뢰딩거 방정식(Schrödinger equation)을 포함하여 알려진 결과들을 복원한다.

부수적으로, 이 이론은 카오스(chaos)가 광범위하다(extensive)는 것을 분석적으로 확립하는데, 즉 끌개 차원과 엔트로피율이 $N$에 비례하여 증가한다는 것이다.

나는 이 문제가 분석적으로 풀기 어려울 것이라고 가정했었다. Max와 100분 동안 독립적으로 작업한 후, GPT-6 Astra가 초기 유도(derivation)를 생성했고, 그 결과는 자기 일관성 문제(self-consistent problem)였으며, 그 해는 대규모 네트워크의 시뮬레이션과 일치했다.

저는 이 유도 과정이 흥미롭지만, 복잡하고 다소 신비로워 보였습니다 (논문의 AI 방법론 참고). 제안된 해의 구조를 AI 모델과 함께 더 깊이 조사한 후, 저는 물리적으로 투명한 유도 과정을 도출할 수 있었습니다.

저는 이 접근 방식을 다른 네트워크 모델, 훈련된 네트워크, 그리고 더 넓게는 Lyapunov 분석이 관련되는 고차원 시스템(AI 모델 자체 포함)에 적용하는 것에 기대가 큽니다. 물론 어떤 논문과 마찬가지로, 저는 논문을 명확하게 작성하는 데 신경을 썼습니다.

몇 가지 일반적인 생각들...

신경 회로는 고차원의 비선형 동역학 시스템이며, 이러한 시스템은 이해하기 매우 어렵기로 악명이 높습니다. 저는 이론 신경과학의 핵심 문제를 그러한 시스템이 어떻게 기능하고, 정보를 처리하며, 학습하고, 행동을 생성하는지를 이해하는 것으로 규정할 것입니다.

많은 이론 과학 분야 사람들은 AI에 대해 불안해합니다. 하지만 적어도 제 분야에서는, 우리는 우리 뇌에서 전개되는 고차원 계산을 완전히 이해하기에는 아직 거리가 멉니다. AI를 통해, 우리는 지금까지 단지 언급만 해왔던 수준의 이해에 도달할 수 있을 것입니다. 그래서 저는 기대됩니다.