전역적 발산(Global Divergences)을 넘어: 베이지안 추론(Bayesian Inference)에 대한 국소

KL 발산(KL divergence) 및 ELBO와 같은 전역적 목적 함수(Global objectives)는 분포 불일치(distributional discrepancy)를 측정하기 위해 베이지안 추론(Bayesian inference)에서 널리 사용됩니다. 본 논문은 이러한 목적 함수들에 의해 직접적으로 포착되지 않는 국소 질량(local-mass) 거동을 연구합니다. 우리는 두 가지 수학적 도구를 도입하고 사용합니다: (1) 국소 질량의 다항식 및 로그 붕괴 척도(polynomial and logarithmic decay scales)를 기록하기 위한 질량 지수(Mass Index), (2) 특이 성분(singular components)이 존재하는 상황에서도 공식화할 수 있는 집합 국소화된 발산(set-localised divergence)인 정규화된 확장 KL (regularised extended KL, RE-KL). 질량 지수(Mass Indices)는 베이지안 업데이트(Bayesian updating)가 국소 질량을 어떻게 변화시키는지 특성화하는 데 도움을 줍니다: (1) 거듭제곱-로그 가능도 인자(power-log likelihood factors)는 이를 명시적으로 이동시키며, (2) 파라미터 의존적 서포트(parameter-dependent supports) 또는 그들의 매끄러운 완화(smooth softenings)는 파라미터 값 근처에 남아 있는 질량의 양을 통해 국소 척도(local scale)를 변화시킬 수 있습니다. 국소 RE-KL을 사용하여, 우리는 두 KL 방향 하에서 국소 스몰 볼 질량(local small-ball masses)을 비교하기 위한 절대적, 상대적 및 방향적 부등식(absolute, relative, and directional inequalities)을 증명합니다. 이러한 결과들을 종합하면 국소 질량 거동에 대한 국소적 이론 설명을 제공할 수 있습니다. 실험을 통해 국소적 거동에 대한 통제된 예시를 제공합니다. 코드는 https://github.com/Forsythia0604/Local-Mass-Framework 에서 확인할 수 있습니다.