효율적인 장기 콜드 스타트 지속 학습을 위한 데이터 프리 리저버 특징 (Data-Free Reservoir Features)

콜드 스타트 예시 없는 클래스 증분 학습 (Cold-start exemplar-free class-incremental learning)은 리플레이 (replay), 외부 사전 학습 (external pretraining), 또는 대규모 초기 태스크 없이도 점진적으로 증가하는 클래스 집합을 학습해야 합니다. 기존의 콜드 스타트 방법들은 일반적으로 스트림 전체에 걸쳐 백본 (backbone)을 학습시키며 의미론적 드리프트 (semantic drift)를 보상하거나, 첫 번째 태스크 이후 백본을 동결 (freeze)하여 초기 클래스에 편향된 특징 (features)을 생성합니다. 이러한 선택들은 또한 계산적 긴장 (computational tension)을 유발합니다. 드리프트 보상 방법은 태스크 범위 (task horizon)가 확장됨에 따라 반복적인 백본 학습과 점점 더 비용이 많이 드는 업데이트를 요구하는 반면, 동결된 백본 방법은 비용은 저렴하지만 콜드 스타트 상황에서 성능이 취약합니다. 우리는 세 번째 옵션인, 이미지 데이터에 전혀 맞추어 학습되지 않는 특징 추출기 (feature extractor)를 연구합니다. 우리는 이미지 분류를 위해 BiRC2D에서 변형된 고정된 양방향 2차원 리저버 특징 (bidirectional two-dimensional reservoir features)과 스트리밍 선형 판별 분석 (streaming linear discriminant analysis, SLDA) 헤드로 구축된 클래스 증분 분류기인 CIRCLE을 제안합니다. CIRCLE은 여러 개의 무작위 리저버 인스턴스화 (random reservoir instantiations)를 특징 앙상블 (feature ensembles)로 그룹화하고 독립적인 SLDA 헤드의 소프트맥스 (softmax) 출력을 평균화하여, 더 풍부한 무작위 특징과 예측 수준의 앙상블 사이의 조절 가능한 편향-분산 트레이드오프 (bias-variance tradeoff)를 제공합니다. 특징 추출기가 고정되어 있고 헤드가 스트리밍 폐형 업데이트 (streaming closed-form updates)를 허용하기 때문에, CIRCLE은 리플레이, 태스크 경계 정보, 또는 백본 역전파 (backbone backpropagation) 없이 샘플 단위 학습 (sample-wise training)을 수행합니다. CIFAR-100, TinyImageNet, ImageNet-Subset, 그리고 ImageNet-1k에서 CIRCLE은 10-20개의 태스크 분할 (task splits)에서 경쟁력을 보였으며, 50, 100, 500개의 태스크 분할에서는 강력한 CS-EFCIL 베이스라인들을 실질적으로 능가하는 동시에, 학습된 백본 드리프트 보상 방법들보다 훨씬 빠르게 학습합니다. 절제 연구 (Ablations)를 통해 BiRC2D 스타일의 추출기, SLDA 헤드, 그리고 균형 잡힌 특징/예측 앙상블이 각각 최종 성능에 기여함을 보여줍니다.