Metaplastic Binary Bayesian Neural Networks를 이용한 능동적 지속 학습

항상 켜져 있는 (Always-on) 에지 시스템 (edge systems)은 제한된 연산 예산 하에서 조건이 변화함에 따라 학습을 지속해야 하며, 신뢰할 수 없는 예측을 탐지할 수 있어야 합니다. 베이지안 이진 신경망 (Bayesian binary neural networks)은 이러한 환경에서 매력적이지만, 평균장 베르누이 사후 분포 (mean-field Bernoulli posteriors)는 길고 비정상적인 (non-stationary) 스트림에서 포화될 수 있으며, 이로 인해 인식론적 불확실성 (epistemic uncertainty)이 사라지고 가소성 (plasticity)이 고착될 수 있습니다. 우리는 안정성 (stability), 가소성 (plasticity), 그리고 망각 (forgetting) 사이의 균형을 맞추는 유계 메모리 변분 목적 함수 (bounded-memory variational objective)에서 유도된 BiMU를 제안합니다. BiMU는 데이터 항 (data term)을 사전 분포 (prior)를 향한 제어된 완화 (relaxation)와 결합하며, 포화를 방지하고 유익한 불확실성을 유지하는 불확실성 의존적 단계 크기 (uncertainty-dependent step size)를 사용합니다. 이러한 퇴화되지 않는 (non-degenerate) 사후 분포는 몬테카를로 불일치 (Monte Carlo disagreement)를 통한 버퍼 없는 (buffer-free) 완전 온라인 능동 쿼리 (active querying)를 가능하게 하여, 불균형 상황에서 레이블 쿼리 (label queries)와 역전파 (backpropagation) 업데이트를 줄여줍니다. BiMU는 1000개 태스크의 Permuted-MNIST에서 학습과 강력한 분포 외 (OOD) 탐지를 유지하며, OpenLORIS-Object에서는 클래스 불균형 및 특징 압축 (feature compression) 환경에서 동일한 정확도 대비 레이블/업데이트를 최대 32배까지 절감합니다.