PILOT: 경계 가이드(Boundary Guidance)를 통한 실시간 시맨틱 세그멘테이션을 위한 데이터 프리(Data-Free) 지속 학습

실시간 시맨틱 세그멘테이션 (Semantic Segmentation) 모델은 정확도와 추론 속도 사이에서 탁월한 균형을 제공합니다. 그러나 이러한 모델을 역동적인 실제 환경에 배포하려면 전체 데이터셋을 재학습하지 않고도 새로운 클래스를 점진적으로 학습할 수 있는 능력이 종종 필요합니다. 이러한 능력을 지속 학습 (Continual Learning)이라고 합니다. 이와 관련하여, 딥러닝의 표준적인 미세 조정 (Fine-tuning) 방법들은 모델이 새로운 정보는 학습하지만 이전에 학습된 클래스들을 잊어버리는 치명적 망각 (Catastrophic Forgetting) 현상으로 인해 실패하는 경우가 많습니다. 이 중요한 분야에 기여하기 위해, 본 논문은 널리 인용되는 최첨단 실시간 시맨틱 세그멘테이션 모델인 PIDNet에 맞춤화된 새로운 지속 학습 프레임워크를 제안합니다. 우리의 방법인 PILOT (Parallel Incremental Learning Over Time)은 기존 세그멘테이션 네트워크의 학습된 파라미터들을 동결(Freezing)하는 동시에, 새로운 클래스의 고주파 경계 정보 (High frequency boundary information)를 포착하도록 설계된 병렬 미분 브랜치 (Derivative-branch, D-branch)를 구현함으로써 실시간적이고 경량화된 전략을 도입합니다. 이러한 새로운 설정은 모델이 이전에 학습된 클래스의 지식을 보존하면서 새로운 시맨틱 카테고리에 적응할 수 있도록 합니다. 새로운 클래스와 관련된 데이터만을 사용함으로써, 우리의 모델은 학습 오버헤드를 크게 줄입니다. 실험 결과에 따르면, 우리의 접근 방식은 기존 베이스 클래스들에 대해 높은 평균 교집합 대비 합집합 (mean Intersection over Union, mIoU)을 유지하면서도 새로운 클래스들을 성공적으로 세그멘테이션하며, 이를 통해 이 분야의 모든 주요 지속 학습 접근 방식들을 여유롭게 능가함을 입증했습니다. 종합적으로, PILOT은 추론 지연 시간 (Inference latency)에 미치는 영향을 최소화하면서 치명적 망각을 효과적으로 완화하여 실시간 성능을 유지함을 보여줍니다.