분포 변화(Distribution Shift) 상황에서의 보정된 전문가 혼합(Mixture-of-Experts) 모델을 향하여

보정(Calibration)은 모델의 예측 불확실성(predictive uncertainty)을 경험적 결과의 빈도와 일치시키는 과정이며, 보고된 확률을 이해하고 신뢰하는 데 있어 중요합니다. 최근 연구에 따르면 개별 예측기(predictor) 수준에서 보정을 강제하면 앙상블의 정확도와 보정 성능을 향상시킬 수 있으며, 특히 전문가 혼합 (Mixture-of-Experts, MoE) 모델이 특정 상황에서 강력한 경험적 개선을 보여준다는 것이 밝혀졌습니다. 그러나 보정이 MoE에 도움이 되는 조건이 무엇인지는 명확히 이해되지 않았습니다. 본 연구에서는 라우팅 메커니즘(routing mechanisms)이 전문가 수준의 보정과 어떻게 상호작용하는지에 초점을 맞추어, 분포 변화 (distribution shift) 상황에서 MoE 모델이 어떻게 동작하는지 연구합니다. 우리는 하드 라우팅 (hard-routed) 모델의 경우, 광범위한 종류의 분포 변화 하에서 전문가 보정 (expert calibration)만으로도 전체 모델의 보정을 보장하기에 충분하다는 것을 보여주지만, 소프트 라우팅 (soft-routed) 모델의 경우에는 이것만으로 보정하기에 불충분하다는 것을 보여줍니다. 이를 해결하기 위해, 우리는 분포 변화 상황에서 라우팅된 집합(routed aggregate)의 보정 오차에 패널티를 부여하는 적대적 재가중치 (adversarial reweighting) 방식을 제안합니다. 또한, 우리가 제안한 방식이 모델 클래스, 예측 작업, 그리고 분포 변화 전반에 걸쳐 평균적으로나 데이터의 어려운 하위 집합(difficult subsets) 모두에서 정확도-보정 트레이드오프 (accuracy-calibration tradeoff)를 개선함을 입증합니다.