스트리밍 지속적 학습에서의 시간적 과제화: 평가 불안정성의 원인

스트리밍 지속적 학습(Streaming Continual Learning, CL)은 일반적으로 연속적인 스트림을 시간적 분할(temporal partitioning)을 통해 이산적인 일련의 과제(tasks)로 변환합니다. 우리는 이러한 시간적 과제화 단계가 중립적인 전처리 선택이 아니라 평가의 구조적 구성 요소라고 주장합니다: 동일한 스트림에 대한 서로 다른 유효한 분할은 서로 다른 CL 체제(CL regimes)를 유도하고, 따라서 서로 다른 벤치마크 결론을 초래할 수 있습니다. 이 효과를 연구하기 위해, 우리는 가소성 및 안정성 프로파일(plasticity and stability profiles), 과제화 간의 프로파일 거리(profile distance between taskifications), 그리고 경계-프로파일 민감도(Boundary-Profile Sensitivity, BPS)에 기반한 과제화 수준 프레임워크를 도입합니다. BPS는 어떤 CL 모델이 훈련되기 전에 작은 경계 교란(boundary perturbations)이 유도된 체제를 얼마나 강하게 변화시키는지 진단합니다. 우리는 스트림, 모델, 훈련 예산은 고정한 채 시간적 과제화만 변경하여 네트워크 트래픽 예측에 대한 지속적 미세 조정(continual finetuning), 경험 리플레이(Experience Replay), 탄성 가중치 통합(Elastic Weight Consolidation, EWC), 그리고 망각 없는 학습(Learning without Forgetting)을 CESNET-Timeseries24로 평가합니다. 9일, 30일, 44일 분할에 걸쳐, 우리는 예측 오류, 망각(forgetting), 역방향 전이(backward transfer)에서 상당한 변화를 관찰하며, 과제화만으로도 CL 평가에 실질적인 영향을 미칠 수 있음을 보여줍니다. 또한, 더 짧은 과제화가 더 노이즈가 많은 분포 수준 패턴(distribution-level patterns), 더 큰 구조적 거리(structural distances), 그리고 더 높은 BPS를 유발한다는 것을 발견했으며, 이는 경계 교란에 대한 더 큰 민감도를 나타냅니다. 이러한 결과는 스트리밍 CL에서의 벤치마크 결론이 학습자(learner)와 데이터 스트림뿐만 아니라 그 스트림이 어떻게 과제화되었는지에도 달려 있음을 보여주며, 시간적 과제화를 일급 평가 변수(first-class evaluation variable)로 동기 부여합니다.