Hamilton-Jacobi 관점: 주요 신경망 아키텍처 간의 연결 고리

경사 하강법 (Gradient descent) 업데이트는 정확히 점성 Hamilton-Jacobi 진화 (viscous Hamilton-Jacobi evolutions)이며, 이는 ResNets, Transformers, 그리고 순환 모델 (recurrent models)을 하나의 수학적 객체로 통합하는 재정의입니다. 가중치 벡터 (weight vector)를 편미분 방정식 (PDE)의 초기 데이터 (initial datum)로 취급함으로써, 각 학습 단계는 관찰된 손실 표면 (loss surface)에 부합하는 Hopf–Cole 전파 (Hopf–Cole propagation)가 됩니다. 이러한 관점은 임의적인 층별 직관 (ad-hoc layer-wise intuition)을 PDE 이론의 모든 메커니즘으로 분석 가능한 통일된 동역학계 (unified dynamical system)로 대체합니다.

역사적으로 잔차 연결 (residual connections)은 완화된 경사 흐름 (gradient flow)에 의해 정당화되었고, 어텐션 메커니즘 (attention mechanisms)은 정보 병목 (information bottlenecks)을 통해 설명되었으며, 순환 (recurrence)은 순차적 처리 제약 (sequential processing constraints)에 의해 동기 부여되었습니다. 각 연구 분야는 공통된 분석적 중추 (analytical backbone) 없이 배치 정규화 (batch renormalization), 위치 인코딩 (positional encodings), 게이팅 함수 (gating functions)와 같은 자체적인 트릭 세트를 구축해 왔습니다. 결과적으로, 한 계열의 발전이 다른 계열에 대한 원칙적인 통찰로 이어지는 경우는 드물었습니다.

잔차 네트워크 (Residual networks), 트랜스포머 (transformers), 그리고 순환 아키텍처 (recurrent architectures: RNNs, LSTMs, SSMs)는 각각 아키텍처에 따라 달라지는 해밀토니언 (Hamiltonian)과 점성 (viscosity)을 가지며 동일한 부류의 Hamilton–Jacobi 방정식을 이산화 (discretize)합니다. “Residual networks, transformers, and recurrent architectures (RNNs, LSTMs, SSMs) each discretize the same class of Hamilton–Jacobi equations, with architecture-dependent Hamiltonian and viscosity.” [1] 이러한 이산화 관점은 왜 깊이 (depth), 어텐션 헤드 (attention heads), 그리고 순환 깊이 (recurrence depth)가 모두 수치 적분기 (numerical integrator)의 타임스텝 (time-steps)처럼 동작하는지를 설명해 줍니다.

단일 변형 파라미터 (deformation parameter) $\varepsilon$는 동일한 대상(신경망 (neural network), 열대 대수 (tropical algebra), 편미분 방정식 (PDE), 볼록 최적화 (convex optimization))에 대한 네 가지 관점을 인덱싱하며, 그 결과로 나타나는 가환 도식 (commutative diagram)은 Lipschitz 조건 및 볼록 (convex) 조건 하에서 닫힙니다. “단일 파라미터가 동일한 대상(신경망, 열대 대수, PDE, 볼록 최적화)에 대한 네 가지 관점을 인덱싱하며, 결과적으로 나타나는 가환 도식 (Theorem 7.1)은 Lipschitz 조건 하에서 닫힙니다.” [1] 저자들은 파라미터 $\varepsilon$가 PDE 해의 매끄러움 (smoothness)과 열대 극한 (tropical limit)의 희소성 (sparsity) 사이의 트레이드오프 (trade-off)에 영향을 미칠 수 있으며, 잠재적으로 정규화 (regularization) 및 모델 표현력 (model expressivity)을 조절하는 노브 (knob) 역할을 할 수 있다고 제안합니다.

이 이론은 고정된 확산 시간 (diffusion time) $t$에 대해 미니맥스 최적 일반화율 (minimax optimal generalization rate) $O(n^{-1/(d+2)})$을 예측하며, 이는 $d$차원 고유 데이터 매니폴드 (intrinsic data manifolds)에서의 비매개변수 회귀 (non-parametric regression)에 대해 알려진 하한 (lower bounds)과 일치합니다. 이 비율은 PDE 구적법 (quadrature) 분석에서 직접 도출되며, 샘플 복잡도 (sample complexity)를 점성 항 (viscosity term)과 연결합니다. 실무자들은 이 지수를 고차원 영역에서의 아키텍처 스케일링 (architecture scaling)을 위한 정량적 목표로 해석할 수 있습니다.

이 대응 관계는 log-sum-exp 레이어에 대해서는 정확하며(exact), 더 넓은 아키텍처에 대해서는 구조적(structural)이기만 하여, 이론과 실제 사용되는 ReLU 중심 모델 사이에는 간극이 존재합니다. “이 대응 관계는 log-sum-exp 레이어에 대해서는 정확하며, 더 넓은 아키텍처에 대해서는 구조적입니다.” [1] 또한, 이 논문은 $\varepsilon$로 제어되는 강건성 (robustness)이나 $O(N)$ 영향 함수 (influence function)가 실제 성능을 향상시킨다는 경험적 검증을 제공하지 않습니다. 이러한 한계점들은 이 프레임워크가 현재로서는 다목적 설계 도구라기보다는 강력한 관점 (lens)임을 시사합니다.

만약 학습이 진정으로 점성 Hamilton-Jacobi 흐름 (viscous Hamilton-Jacobi flow)을 따른다면, 아키텍처 비교는 레이어 유형에 따른 분류 (layer-type taxonomy)에서 Hamiltonian 형태와 점성 계수 (viscosity coefficient)에 따른 분류로 전환되어야 합니다. PDE 이산화 (PDE discretizations)의 수치적 안정성 (numerical stability)을 측정하는 벤치마크가 현재의 정확도 중심 평가 세트를 대체할 수 있으며, 이는 강건성 (robustness)과 일반화 (generalization) 사이의 숨겨진 트레이드오프 (trade-offs)를 드러낼 것입니다. 이러한 PDE 관점을 통해 기존 모델들을 재검토함으로써, 특정 작업의 매끄러움 (smoothness)을 위해 ε을 의도적으로 조정하는 차세대 하이브리드 설계 (hybrid designs)를 발견할 수 있을지도 모릅니다.

References

1. The Hamilton-Jacobi Theory of Deep Learning