Per-Sample Clipping 을 통한 견고하고 빠른 학습

요약

본 기사는 Per-Sample Clipping (PS-Clip) 기반의 견고한 경사 추정기(Robust Gradient Estimator)를 제안합니다. 이 방법은 무거운 꼬리 분포의 노이즈가 존재하는 비선형 최적화 문제에서 SGD의 수렴 속도를 개선하며, 고확률적인 수렴 보장까지 제공함을 이론적으로 증명했습니다. 실험 결과에 따르면, PS-Clip-SGD는 AlexNet을 CIFAR-100 데이터셋으로 학습할 때 표준 SGD나 일반 경사 클리핑보다 우수한 성능을 보여주었으며, 특히 미니배치 수준에서 적용 시 추가 비용 없이 효과적임을 입증했습니다.

핵심 포인트

• PS-Clip-SGD는 무거운 꼬리 분포의 노이즈가 있는 비선형 최적화 문제에 강건한 경사 추정기이다.
• 본 방법은 기대값 수렴 속도뿐만 아니라 고확률적인 수렴 보장까지 제공한다.
• 실험적으로, PS-Clip-SGD는 AlexNet 학습 시 표준 SGD 및 일반 클리핑보다 우수한 성능을 보인다.
• 미니배치 수준에서 경사 클리핑을 적용하는 것이 추가 비용 없이 학습 성능 개선에 효과적이다.