안전한 오픈셋 준지도 학습 (Safe Open-Set Semi-Supervised Learning)을 위한 기하학적 그래디언트 교정

오픈셋 준지도 학습 (Open-set semi-supervised learning, OSSL)은 분포 내 (in-distribution, ID) 클래스에 대한 성능을 유지하면서, 분포 외 (out-of-distribution, OOD) 이상치가 포함될 수 있는 레이블이 없는 데이터를 활용하는 것을 목표로 합니다. 기존 방법들은 주로 두 가지 패러다임을 따릅니다: 의심스러운 샘플을 필터링하거나, 소프트 가중치 (soft weighting)를 사용하여 레이블이 없는 목적 함수를 통합하는 것입니다. 우리는 이 두 방식 모두 공통적인 트레이드오프 (trade-off)에 직면해 있다고 주장합니다. 공격적인 필터링은 정보가 풍부하지만 학습하기 어려운 ID 샘플을 버릴 수 있는 반면, 활용 방식은 의사 레이블 (pseudo labels)이 틀렸을 때 지도 학습 (supervised learning)과 충돌하는 보조 그래디언트 (auxiliary gradients)를 도입할 수 있습니다. 따라서 우리는 초점을 샘플 선택에서 그래디언트 수준의 제어로 전환합니다. 우리는 지도 그래디언트 (supervised gradient)를 앵커 (anchor)로 사용하고, 충돌하는 보조 그래디언트를 그래디언트 공간 내의 허용 가능한 영역으로 투영하는 플러그인 프레임워크인 extit{Geometric Gradient Rectification} (GGR)을 제안합니다. 이를 통해 적용된 보조 업데이트는 교정된 좌표 블록 내에서 1차적으로 대립하지 않게(first-order non-opposing) 만들면서도, 여전히 유용한 표현 신호 (representation signals)를 담고 있을 수 있는 직교 성분 (orthogonal components)을 보존합니다. 나아가 우리는 노이즈가 있는 미니 배치 (mini-batch) 그래디언트 하에서 앵커를 안정화하기 위해 부분 공간 인식 교정 (subspace-aware rectification)으로 GGR을 확장합니다. CIFAR 및 ImageNet 벤치마크에서의 실험 결과, GGR은 대부분의 설정에서 대표적인 OSSL 베이스라인들을 개선하며, 폐쇄셋 일반화 (closed-set generalization)와 오픈셋 강건성 (open-set robustness) 모두에서 이득을 얻음을 보여줍니다. 코드는 https://github.com/JiaheChen2002/GGR 에서 확인할 수 있습니다.