시도: 광범위한 무작위 MLP 의 기대 출력 추정 효율성 개선

요약

본 논문은 머신러닝에서 기대 손실(expected loss)을 추정하는 기존의 샘플링 기반 방법의 한계를 극복하고자 합니다. 특히 초기화된 MLP에 대해, 실제 순전파 없이도 가우스 입력에 대한 기대 출력을 효율적으로 추정하는 방법을 제안합니다. 이 방법은 각 층의 활성화 분포를 모멘트와 헤르미트 전개 같은 수학적 도구를 사용하여 근사하며, 충분히 넓은 네트워크에서 몬테 카를로 샘플링보다 훨씬 적은 계산량(FLOPs)으로 목표 MSE에 도달함을 이론적/경험적으로 입증했습니다. 나아가 이 기법이 희귀 사건의 확률 추정에도 유용하여 모델의 극단적인 위험을 관리하는 데 기여할 수 있음을 보여줍니다.

핵심 포인트

• 기존 기대 손실 추정 방식(샘플링)의 비효율성을 개선함.
• 네트워크 순전파 없이도 가우스 입력에 대한 기대 출력을 효율적으로 근사하는 방법을 제시함.
• 활성화 분포를 모멘트 및 헤르미트 전개 같은 수학적 도구를 이용해 표현하여 계산 복잡도를 낮춤.
• 충분히 넓은 네트워크에서 몬테 카를로 샘플링 대비 훨씬 적은 FLOPs로 높은 정확도를 달성함.
• 이 방법론을 활용하여 모델의 극단적인 꼬리 위험(catastrophic tail risks) 확률 추정에 적용할 수 있음.