순방향-역방향 지식 증류를 통한 비지도 연속 클러스터링

비지도 연속 학습 (Unsupervised Continual Learning, UCL)은 신경망이 레이블(label)이나 과거 데이터에 대한 접근 없이 순차적인 태스크를 학습할 수 있도록 하는 것을 목표로 합니다. 이 설정에서의 주요 과제는 모델이 새로운 태스크를 학습할 때 이전에 학습한 태스크를 잊어버리는 치명적 망각 (Catastrophic Forgetting)입니다. 이러한 문제는 학습과 기억 유지를 가이드할 레이블이 부재하기 때문에 UCL에서 더욱 증폭됩니다. 지식 증류 (Knowledge Distillation) 및 리플레이 버퍼 (Replay Buffers)와 같은 기존의 완화 전략들은 종종 메모리 및 개인정보 보호 문제를 야기합니다. 더욱이, 현재의 UCL 방법론들은 클러스터링 특화 목적 함수 (clustering-specific objectives)를 크게 간과하고 있습니다. 이러한 공백을 메우기 위해, 우리는 비지도 연속 클러스터링 (Unsupervised Continual Clustering, UCC)을 도입하고, 연속 클러스터링을 위한 순방향-역방향 지식 증류 (Forward-Backward Knowledge Distillation for Continual Clustering, FBCC)를 제안합니다. FBCC는 클러스터링 프로젝터 (clustering projector)를 갖춘 연속 교사 네트워크 (continual teacher network)와 경량화된 태스크별 학생 네트워크 (task-specific students)를 사용합니다. 이중 단계의 순방향-역방향 증류 과정을 통해, 교사 네트워크는 과거 데이터를 저장하지 않으면서도 이전에 발견된 클러스터 구조를 보존하는 동시에 새로운 클러스터를 학습합니다. FBCC는 UCC에 대한 선구적인 접근 방식을 나타내며, 순차적 태스크 전반에 걸쳐 향상된 클러스터링 성능을 입증합니다. 4개의 벤치마크 데이터셋에 대한 실험 결과, FBCC는 치명적 망각을 크게 줄이면서 클러스터링 정확도 측면에서 기존의 연속 학습 베이스라인 (continual learning baselines)들을 일관되게 능가함을 보여줍니다.