PeTeR: 확률적 회로의 학습 후 강건화 (Post-Training Robustification of Probabilistic
요약
본 논문은 확률적 회로(PCs)가 데이터 노이즈나 분포 변화에 취약한 문제를 해결하기 위해 PeTeR이라는 새로운 학습 후 강건화 프레임워크를 제안합니다. PeTeR은 사전 학습된 PC를 재학습 없이 분포 변화에 강건하게 만드는 데이터 프리 방식입니다.
핵심 포인트
- 확률적 회로(PCs)는 복잡한 결합 분포 모델링에 유용하지만, 노이즈와 분포 변화에 취약합니다.
- 기존의 강건 학습 방법은 처음부터 훈련하는 데 한계가 있었습니다.
- PeTeR은 사전 학습된 PC를 재학습 없이 데이터 프리 방식으로 강건화합니다.
- 평가 결과, PeTeR은 무작위 및 적대적 교란에 대해 우수한 성능을 보였습니다.
확률적 회로(Probabilistic circuits, PCs)는 복잡한 결합 분포를 모델링할 수 있으며, 많은 추론 쿼리에 대해 정확하고 효율적인 계산을 지원합니다. 하지만 표준 우도 기반 PC 학습은 데이터 노이즈, 작은 샘플 크기 또는 분포 변화에 직면했을 때 과적합(overfitting)에 취약하고 일반화가 불안정하다는 문제가 있습니다. 이는 경험적 분포의 Wasserstein 볼(Wasserstein ball) 내에서 최악의 경우 분포를 고려하는 분포적으로 강건한 최적화(distributionally-robust optimization)를 사용하여 완화할 수 있지만, 현재 방법들은 이 프레임워크 내에서 모델을 처음부터 훈련하는 데에 국한되어 있습니다. 대신, 우리는 PeTeR을 제안합니다. 이는 사전 학습된 PC가 재학습 없이 분포 변화에 강건하도록 설계된 새롭고 데이터 프리(data-free)의 학습 후 프레임워크입니다. 여러 밀도 추정 벤치마크 전반에 걸친 경험적 평가는 PeTeR이 무작위 및 적대적 교란 모두에 대해 기준 모델을 효과적으로 강건화하며, 데이터 의존적 강건 학습 기준선(data-dependent robust learning baselines)과 경쟁적이거나 우수한 성능을 달성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기