동역학에서 결정까지: 딥 분류기에서의 리아푸노프 스펙트럼과 결정 경계에 대한 수학적 이론

딥 분류기는 자신이 산출하는 결정뿐만 아니라, 그 결정이 형성되는 일련의 변환 과정으로도 정의됩니다. 이러한 진화를 레이어 전반에 걸친 동역학 시스템(dynamical system)으로 간주하면, 깊이를 통해 어떻게 결정 기하학(decision geometry)이 출현하는지, 그리고 경계의 동역학적 흔적을 얼마나 멀리 거슬러 추적할 수 있는지 질문할 자연스러운 틀을 제공합니다. 우리는 순방향 분류기(feed-forward classifier)를 유한하고 비자율적인 이산 동역학 시스템(nonautonomous discrete dynamical system)으로 모델링하며, 레이어는 이산 시간 단계의 역할을 합니다. 우리는 분류기의 깊이를 통과하는 데이터 샘플의 동역학적 궤적에 대한 유한 시간 최대 리아푸노프 지수(Finite-Time Maximum Lyapunov Exponent, FTMLE)를 연구합니다. FTMLE는 근접한 궤적들의 수렴/발산 속도를 측정합니다. 우리는 관측 종점을 확률(probabilities)에서 로짓(logits)으로, 그리고 은닉 표현(hidden representations)으로 역행시킵니다. 가우시안 클래스(Gaussian classes)의 경우, 우리는 확률 수준의 FTMLE가 결정 경계의 명확한 기하학적 흔적을 담고 있으며, 그 지배적인 방향이 경계 법선(boundary normal)과 정렬됨을 증명합니다. 로짓으로 한 단계 역행하면, 이 관계는 더 이상 보편적이지 않으며 분류기가 어떻게 훈련되었는지, 특히 손실 함수(loss function)의 선택에 따라 결정적으로 달라진다는 것을 증명합니다. 은닉 표현까지 더 멀리 역행하면, 그 연결은 더욱 조건적이 됩니다: 경계 관련 FTMLE가 지속될 수는 있지만, 식별 가능한 구조적 조건 하에서만 가능합니다. 우리는 분류기의 은닉 FTMLE를 재구성하기 위해 기하학 인지(geometry-aware) 파인튜닝을 제안하고, 결정 경계 근처에서 높은 은닉 FTMLE의 집중이 보장되는 조건을 제안합니다. 우리의 수치적 결과를 통해 이론적 결과의 일반성과 타당성을 보여줍니다. 데이터 샘플의 진화를 분류기의 레이어를 통과하는 것으로 이해하는 것은, 어디서 경계 관련 민감성이 출현하는지 식별하고 레이어 인식 정규화 전략(layer-aware regularization strategies)을 개발하기 위한 원칙적인 기반을 제공합니다.