민감도 및 패턴화: 베이즈 학습에서의 선형 응답 입문

요약

이 기술 노트는 신경망 해석을 위한 '민감도(susceptibilities)' 이론을 소개하며, 이는 관측 가능한 $\varphi$가 데이터 교란에 대해 가지는 민감도를 사후 기대값의 미분으로 정의합니다. 이 민감도는 요동-소산 정리(fluctuation--dissipation theorem)를 통해 사후 공분산과 같다는 점이 핵심입니다. 또한, 다양한 관측 가능량($\varphi$)을 선택함으로써 샘플별 손실이나 구조적 민감도 행렬 등 여러 유용한 객체를 도출할 수 있으며, 이는 모델의 패턴화 문제 해결에 활용될 수 있습니다.

핵심 포인트

• 민감도 이론은 신경망 해석을 위한 핵심 프레임워크로, 관측 가능한 $\varphi$가 데이터 교란에 대한 민감도를 측정합니다.
• 이 민감도는 요동-소산 정리(FDT)를 통해 사후 공분산과 동일하게 정의됩니다.
• 다양한 $\varphi$ 선택을 통해 샘플별 손실이나 구조적 민감도 행렬 등 구체적인 해석 도구를 얻을 수 있습니다.
• 구조적 민감도 행렬의 유사 역행렬은 원하는 구조적 변화를 생성하는 데이터 교란(패턴화 문제)을 찾는 선형 해답을 제공합니다.