고도로 이질적인 작업 전반에 걸친 지속 학습 (Continual Learning)을 위한 작업 차별적 원자적 기술 확장 및 라우팅

지속 학습 (Continual Learning, CL)은 일반적으로 순차적인 작업들이 의미론적으로 연관되어 있거나 구조적으로 유사하다는 가정하에 연구됩니다. 그러나 작업들이 추론 패턴과 입출력 형식에서 실질적으로 차이가 나는 고도로 이질적인 (highly heterogeneous) 환경에서는, 기존 방법들이 치명적 망각 (catastrophic forgetting)과 비효율적인 용량 할당 문제로 어려움을 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 각 작업에 대해 얼마나 많은 새로운 원자적 기술 (atomic skills)을 도입할지, 그리고 어떤 기술을 활성화할지를 공동으로 결정하는 CL 프레임워크인 Task-differentiated Atomic Skill Expansion and Routing (TASER)를 제안합니다. 이 프레임워크는 먼저 작업 발산 (task divergence) 및 모델 불확실성 (model uncertainty)을 기반으로 용량을 동적으로 확장하기 위해 원자적 기술 점진적 학습 (atomic skill incremental learning)을 사용합니다. 그다음, 이러한 기술들이 의미론적으로 구별되고 독립적으로 재사용될 수 있도록 보장하기 위해 직교성 강화 기술 탐지 (orthogonality-enhanced skill detection)를 적용합니다. 마지막으로, 기술 동적 라우팅 (skill dynamic routing) 메커니즘이 경량화된 작업 조건부 게이팅 (task-conditioned gating)을 통해 작업 관련 기술들을 구성합니다. 우리는 더 나아가 표준화된 순차 프로토콜 하에 9가지 인지 차원에 걸친 19개의 다양한 작업으로 구성된, CL을 위한 고도로 이질적인 벤치마크인 HeteroCLBench를 도입합니다. HeteroCLBench에서의 실험 결과, TASER는 가소성 (plasticity)을 향상시키고 치명적 망각을 줄임으로써 강력한 베이스라인 모델들을 일관되게 능가함을 보여줍니다.