왜 하이퍼파라미터 친화적인 최적화는 안 되는가? 롱테일 인식(Long-Tailed Recognition)을 위한 단조 적응형 노름

롱테일 인식 (Long-tailed recognition)은 딥러닝에 있어 상당한 도전 과제를 제기합니다. 표현 학습 (representation learning)과 분류기 재학습 (classifier retraining)을 분리하는 2단계 디커플링 (two-stage decoupling) 패러다임은 유망한 해결책을 제공합니다. 분류기 재학습 단계 동안, 적응형 노름 재스케일링 (adaptive norm rescaling)은 대중적인 기술입니다. 이는 파라미터 정규화 (parameter regularization)를 통해 클래스별 가중치 노름 (per-class weight norms)을 조정하며, 이는 필연적으로 하이퍼파라미터 (hyperparameters)를 도입하게 됩니다. 그러나 많은 연구에 따르면, 하이퍼파라미터의 설정이 성능에 상당한 영향을 미치기 때문에 롱테일 인식은 이러한 하이퍼파라미터에 민감하다고 보고됩니다. 본 논문에서 우리는 먼저 노름 재스케일링 방법을 뒷받침하기 위해 클래스 조건부 분포 (class-conditional distribution) 관점을 제공합니다. 나아가, 우리는 자기 적응형 단조 정규화 (Self-Adaptive Monotonic Normalization, SAMN)라고 불리는 단순하지만 효과적인 접근 방식을 제안합니다. SAMN은 파라미터 정규화의 필요성을 피합니다. 이는 인접 위반자 제거 알고리즘 (Pool Adjacent Violators Algorithm)을 사용하여 클래스별 가중치 노름에 단조성 (monotonicity)을 직접 강제함으로써, 해당 방법을 하이퍼파라미터 친화적 (hyperparameter-friendly)으로 만듭니다. SAMN은 성능 향상을 위해 다른 방법들과 원활하게 통합되는 보편적인 전략입니다. 벤치마크 데이터셋에 대한 실험을 통해 우리의 방법이 롱테일 인식 성능을 크게 향상시키며, 종종 최첨단 (state-of-the-art) 결과를 달성함을 입증합니다.