스트리밍 지속적 학습에서의 시간적 과제화: 평가 불안정성의 원인

요약

본 논문은 스트리밍 환경에서 이루어지는 연속 학습(Continual Learning, CL)의 평가 과정 자체에 구조적인 문제를 지적합니다. 일반적으로 데이터 스트림을 시간 단위로 분할하여 이산적인 작업(task)으로 변환하는 '시간적 태스크화(Temporal Taskification)' 과정이 중립적이지 않으며, 같은 원본 스트림이라도 분할 방식(split)에 따라 완전히 다른 학습 결과와 성능 지표를 유발할 수 있음을 보여줍니다. 이는 CL 벤치마크의 신뢰성에 근본적인 의문을 제기하며, 태스크화 방식을 모델 평가의 핵심 변수로다

핵심 포인트

• CL 평가는 데이터 스트림을 시간적으로 분할하는 '태스크화' 과정에 크게 의존하며, 이 자체가 성능 지표의 불안정성을 야기합니다.
• 분석 결과, 9일, 30일, 44일 등 다양한 기간으로 데이터를 분할(taskification)했을 때 예측 오차, 망각(forgetting), 역방향 전이(backward transfer)에 상당한 변화가 관찰되었습니다.
• 연구팀은 'Boundary-Profile Sensitivity (BPS)'라는 새로운 지표를 도입하여 경계 조건의 작은 변화가 학습 결과에 미치는 민감도를 진단할 수 있음을 제시했습니다.
• 결론적으로, 스트리밍 CL 모델의 성능은 단순히 학습 알고리즘이나 데이터셋뿐만 아니라, 데이터를 어떤 방식으로 태스크화했는지에 따라 달라집니다.