계층 구조상의 Gibbs 측도를 통한 데이터 기반 에너지 기반 학습

우리는 계층 구조(hierarchical structures)상의 Gibbs 측도(Gibbs measures)를 기반으로 하는 시스템 학습을 위한 데이터 기반 확률론적 프레임워크를 소개합니다. 데이터셋을 사용하여 단일 최적 파라미터를 식별하는 표준적인 경험적 위험 최소화(empirical risk minimization)와 달리, 우리의 접근 방식은 경험적 손실 함수(empirical loss function)를 에너지 기반 모델(energy-based model)을 정의하는 상호작용 포텐셜(interaction potential)로 변환합니다. 그 결과로 나타나는 Gibbs 분포는 데이터에 의해 생성된 평형 학습 상태(equilibrium learning states)의 가족을 설명합니다. 우리는 관련 유한 부피 분포(finite-volume distributions)의 일관성 조건(consistency conditions)을 공식화하고, 그 해가 허용 가능한 학습 상태를 특징짓는 비선형 적분 고정점 방정식(nonlinear integral fixed-point equations)을 도출합니다. 이 방정식들은 경험적 손실 지형(empirical loss landscapes)과 트리(trees) 상의 확률적 추론(probabilistic inference) 사이의 엄밀한 연결을 제공합니다. 평행 이동 불변(translation-invariant) 해의 경우, 문제는 데이터 의존적 커널(data-dependent kernels)에 의해 유도된 양의 컴팩트 연산자(positive compact operators)의 분석으로 축소되며, 이를 통해 1차원 설정에서의 존재성 및 유일성 조건을 확립할 수 있습니다. 나아가, 우리는 계층적 학습 시스템이 상전이(phase-transition) 현상을 보일 수 있음을 보여줍니다. Cayley 트리 상의 특정 경험적 커널에 대해, 임계 역온도(critical inverse temperature)를 넘어서면 여러 Gibbs 측도가 나타나며, 이는 서로 다른 평형 예측 체제(equilibrium prediction regimes)에 대응합니다. 비분리형 커널(non-separable kernels)을 이용한 수치 실험은 여러 해의 분기(solution branches)가 나타나는 것을 보여주며, 데이터에 의해 유도된 여러 학습 상태가 공존함을 입증합니다. 우리의 결과는 데이터가 단순히 최소화를 통해 최적의 모델을 결정하는 것이 아니라, 가능한 추론 상태의 전체 확률론적 지형(probabilistic landscape)을 정의하는 에너지 기반 학습에 대한 새로운 관점을 제공합니다.