SoftServe: 딥러닝을 위한 확장 가능한 준-뉴턴 방법

요약

SoftServe는 딥러닝 환경에서 비볼록성과 거대한 파라미터 크기라는 기존 준-뉴턴(QN) 방법의 한계를 극복하기 위해 개발된 새로운 QN 방법군입니다. 이 방법은 양의 정부호 곡률 추정치를 유지하며, GPU 친화적인 행렬 곱셈을 통해 비용이 많이 드는 행렬 분해를 대체하여 대규모 신경망에 확장 가능합니다.

핵심 포인트

• SoftServe는 비볼록성 및 거대 파라미터 크기 문제를 해결한 QN 방법군입니다.
• 양의 정부호 곡률 추정치를 유지하며, 음의 곡률 영역에서도 작동합니다.
• 행렬 분해 대신 GPU 친화적인 Newton-Schulz 반복을 사용하여 효율성을 높였습니다.
• RNN, 깊은 오토인코더 등 악조건화된 문제에서 기존 방법론보다 우수한 성능을 보입니다.