딥러닝 이론의 출현: '학습 역학(Learning Mechanics)' 제안

본 논문은 딥러닝에 대한 과학적 이론이 이미 출현하고 있다는 강력한 주장을 펼칩니다. 여기서 '과학적 이론'이란 신경망의 학습 과정, 은닉 표현(hidden representations), 최종 가중치 및 성능 등 중요한 속성과 통계적 특성을 특징화하는 체계를 의미합니다.

저자들은 현재 딥러닝 이론 연구에서 진행 중인 주요 흐름들을 종합하고, 이러한 이론을 구축할 수 있는 다섯 가지 성장하는 연구 분야를 식별했습니다. 이 분야들은 다음과 같습니다:

1. 해법적 이상화 설정 (Solvable idealized settings): 현실적인 시스템에서의 학습 동역학에 대한 직관을 제공하는 모델링입니다.
2. 처리 가능한 극한 (Tractable limits): 근본적인 학습 현상에 대한 통찰력을 밝혀내는 수학적 접근입니다.
3. 단순한 수학 법칙 (Simple mathematical laws): 중요한 거시적 관측치(macroscopic observables)를 포착하는 법률을 찾는 것입니다.
4. 하이퍼파라미터 이론 (Theories of hyperparameters): 하이퍼파라미터를 학습 과정의 나머지 부분과 분리하여 더 단순한 시스템에 집중할 수 있게 하는 이론입니다.
5. 보편적 행동 (Universal behaviors): 여러 시스템과 설정에서 공유되는 보편적인 패턴을 찾아내어, 어떤 현상들이 설명이 필요한지 명확히 합니다.

이러한 연구 분야들은 공통적으로 몇 가지 특징을 공유합니다. 첫째, 학습 과정의 동역학에 관심을 둡니다. 둘째, 주로 거시적 집계 통계(coarse aggregate statistics)를 기술하는 데 중점을 둡니다. 셋째, 반증 가능한 정량적 예측(falsifiable quantitative predictions)을 강조합니다.

저자들은 이러한 관점에서 가장 적합한 이론의 틀은 **'학습 역학(learning mechanics)'**이라고 제안하며, 이를 학습 프로세스의 기계론적 이해로 간주합니다. 이 '역학' 관점은 통계적 접근이나 정보 이론적 관점 등 다른 딥러닝 이론 구축 방식들과 상호 관계를 논의합니다. 특히, 학습 역학이 **기계적 해석 가능성(mechanistic interpretability)**과 공생적인 관계를 가질 것으로 예측하며 큰 기대를 표명합니다.

마지막으로, 본 논문은 근본적인 이론 구축이 불가능하거나 중요하지 않다는 일반적인 반론들을 검토하고 이를 반박합니다. 결론적으로 저자들은 학습 역학의 중요한 미개척 분야를 제시하고 초심자를 위한 조언을 제공하며, 관련 자료를 온라인 플랫폼(learningmechanics.pub)에서 제공한다고 안내합니다.