FlashbackCL: 연합 학습(Federated Learning)에서의 시간적 망각 완화

파운데이션 모델(foundation models) 및 에지 모델(edge models)의 연합 학습 (Federated Learning, FL)은 클라이언트의 데이터 분포가 시간이 지남에 따라 변하는(drift) 배포 환경을 점점 더 많이 목표로 하고 있으나, 기존의 망각 완화 방법들은 각 클라이언트의 분포가 정체되어(stationary) 있다고 가정합니다. 클라이언트 간 (공간적) 망각에 대응하는 최근 가장 강력한 FL 방법론인 Flashback은 지식 프록시(knowledge proxy)로서 단조롭게 누적되는 클래스별 라벨 수를 사용합니다. 그러나 이 프록시는 시간적 분포 변화(temporal distribution shift) 상황에서 잘못 보정되어, 글로벌 모델을 시대에 뒤떨어진 클래스 균형에 고착시키는 문제가 발생합니다. 본 논문에서는 프로토콜 수준의 변동으로부터 격리된 단계별 지표(per-phase metric)를 통해 FL에서의 시간적 망각을 공식화하고, Flashback의 드롭인(drop-in) 확장 방식인 Flashback Continual Learning (FlashbackCL)을 제안합니다. FlashbackCL은 (i) 시간적으로 감쇠되는 라벨 수(temporally-decayed label counts), (ii) 클래스 균형 리저버 샘플링 (Class-Balanced Reservoir Sampling, CBRS)을 이용한 디바이스 인식 리플레이 버퍼 (device-aware replay buffer), (iii) 공개 증류 세트(public distillation set)에 대한 서버 측 능동 코어셋 큐레이션 (server-side active coreset curation)을 포함합니다. 실험 결과, FlashbackCL은 50개의 클라이언트와 세 가지 제어된 시간적 변화 모드가 적용된 CIFAR-10 데이터셋에서 Flashback 대비 6.9%에서 10.0%의 상대적 성능 향상을 달성하는 동시에, 시간적 망각을 최대 68%까지 줄였습니다. 5가지 변형을 통한 어블레이션 연구 (ablation study)를 통해 CBRS 리플레이가 핵심 구성 요소임을 확인했습니다. 또한 FlashbackCL은 정체된(stationary) CIFAR-100 데이터셋에서도 Flashback보다 3.5포인트 높은 성능을 보였으며, 이는 클래스 균형 리플레이가 시간적 변화뿐만 아니라 공간적 이질성 (spatial heterogeneity) 또한 규제(regularise)할 수 있음을 시사합니다.