민감도 및 패턴화: 베이즈 학습에서의 선형 응답 입문
요약
이 기술 노트는 신경망 해석을 위한 '민감도(susceptibilities)' 이론을 소개하며, 이는 관측 가능한 $\varphi$가 데이터 교란에 대해 가지는 민감도를 사후 기대값의 미분으로 정의합니다. 이 민감도는 요동-소산 정리(fluctuation--dissipation theorem)를 통해 사후 공분산과 같다는 점이 핵심입니다. 또한, 다양한 관측 가능량($\varphi$)을 선택함으로써 샘플별 손실이나 구조적 민감도 행렬 등 여러 유용한 객체를 도출할 수 있으며, 이는 모델의 패턴화 문제 해결에 활용될 수 있습니다.
핵심 포인트
- 민감도 이론은 신경망 해석을 위한 핵심 프레임워크로, 관측 가능한 $\varphi$가 데이터 교란에 대한 민감도를 측정합니다.
- 이 민감도는 요동-소산 정리(FDT)를 통해 사후 공분산과 동일하게 정의됩니다.
- 다양한 $\varphi$ 선택을 통해 샘플별 손실이나 구조적 민감도 행렬 등 구체적인 해석 도구를 얻을 수 있습니다.
- 구조적 민감도 행렬의 유사 역행렬은 원하는 구조적 변화를 생성하는 데이터 교란(패턴화 문제)을 찾는 선형 해답을 제공합니다.
본 노트는 신경망 해석을 위해 [arXiv:2504.18274, arXiv:2601.12703]에서 개발된 민감도(susceptibilities) 이론을 소개합니다. 관측 가능한 $\varphi$가 데이터 교란에 대해 가지는 민감도는 사후 기대값(posterior expectation)의 미분으로 정의되며, 이는 요동-소산 정리(fluctuation--dissipation theorem)에 의해 사후 공분산(posterior covariance)과 같습니다. 서로 다른 $\varphi$를 선택하면 서로 다른 객체들이 도출됩니다: 샘플별 손실(per-sample losses)은 영향 행렬(influence matrix, [arXiv:2509.26544]의 베이즈 영향 함수)을 제공하고, 구성 요소 국소화 관측 가능량(component-localized observables)은 모델 구성 요소를 데이터 패턴과 연결하는 구조적 민감도 행렬(structural susceptibility matrix)을 제공합니다. 이 민감도 행렬은 (상수 $n\beta$를 제외하면) 데이터 분포에서 구조적 좌표로 가는 사상(map)의 자코비안(Jacobian)이며, 그 유사 역행렬(pseudo-inverse)은 [arXiv:2601.13548]의 패턴화 문제에 대한 선형화된 해답을 제공합니다: 원하는 구조적 변화를 생성하는 데이터 교란 찾기. 우리는 이 이론을 통계역학적 기초에서 동기를 부여하고, 그 후 민감도 자체, 경험적 추정량(empirical estimators), 그리고 손실 지형(loss landscape)의 기하학과 연결성을 상세히 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기