분포 무관 분류 손실 전 학습을 위한 진화 역학 (Evolutionary Dynamics)

우리는 무한한 합성 예측-라벨 쌍 (synthetic prediction-label pairs) 을 사용하여 확률 공간에서 전이 가능한 분류 손실을 학습하는 프레임워크인 진화 역학 손실 (Evolutionary Dynamic Loss, EDL) 을 제안합니다. EDL 은 주요 손실 전 학습 단계 (main loss pretraining stage) 에서 실제 샘플에 접근하지 않고, 의미론 없는 순위 일관성 목표 (semantics-free ranking-consistency objective) 를 사용하여 경미한 네트워크로 손실을 파라미터화하며, 더 오류가 있는 예측에 대해 더 큰 벌칙을 할당합니다. 손함수 공간의 공간을 견고하게 탐색하기 위해 EDL 은 진화 전략 (evolutionary strategy) 을 통해 최적화되며, 잡음진 피트니스 평가 (noisy fitness evaluations) 하에서 탐색을 개선하기 위해 혼란스러운 변이 (chaotic mutation) 를 도입했습니다. ResNet 백본 (backbones) 과 CIFAR-10 실험은 EDL 이 크로스 엔트로피 (cross-entropy) 의 대안으로 사용될 수 있으며, 경쟁력 있는 또는 향상된 정확도를 달성할 수 있음을 보여줍니다. 또한, 변이 연구 (ablation studies) 는 표준 가우시안 변이 (Gaussian mutation) 보다 혼란스러운 변이가 더 빠른 수렴과 더 나은 합성 전 학습 지표를 제공함을 확인했습니다.