CATA: 충돌 회피형 태스크 산술을 통한 지속적 머신 언러닝 (Continual Machine Unlearning)

시각-언어 모델 (Vision-language models, VLMs)은 시각적 표현과 텍스트 표현을 정렬하는 데 탁월한 능력을 보여주며, 광범위한 멀티모달 (multimodal) 애플리케이션을 가능하게 했습니다. 그러나 대규모 학습 데이터는 필연적으로 개인정보 보호, 저작권 및 원치 않는 콘텐츠에 대한 우려를 불러일으키며, 이에 따라 머신 언러닝 (machine unlearning)에 대한 강력한 필요성이 제기되고 있습니다. 기존 연구들은 주로 단일 샷 (single-shot) 언러닝에 집중하고 있지만, 실제 VLM 배포는 종종 시간에 따라 순차적인 삭제 요청을 포함하며, 이는 지속적 머신 언러닝 (continual machine unlearning)의 문제로 이어집니다. 본 연구에서는 VLM을 위한 지속적 언러닝을 연구하는 첫 번째 시도를 수행하며, 이 설정에서 세 가지 핵심 과제를 식별합니다: 대상 지식을 제거하는 효과성 (effectiveness), 유지된 모델 유용성을 보존하는 충실도 (fidelity), 그리고 순차적 업데이트 하에서 지식의 재출현을 방지하는 지속성 (persistence)입니다. 이러한 과제를 해결하기 위해, 우리는 각 망각 요청을 언러닝 태스크 벡터 (unlearning task vector)로 표현하는 충돌 회피형 태스크 산술 (conflict-averse task arithmetic) 방법인 CATA를 제안합니다. CATA는 과거의 태스크 벡터를 유지하고 부호 인식 충돌 회피 집계 (sign-aware conflict-averse aggregation)를 수행함으로써, 이전의 망각 효과를 약화시킬 수 있는 충돌하는 업데이트 구성 요소를 억제합니다. 단일 샷 및 지속적 설정 모두에서의 광범위한 실험을 통해, CATA가 망각 효과성, 모델 충실도 및 망각 지속성 측면에서 베이스라인 (baselines)보다 우수한 성능을 보임을 입증했습니다.