MNIST 이미지 분류를 위한 신경망에 대해 직접적인 최적화 테스트가 수행되었습니다. 이 네트워크는 총 25,450개의 연속 파라미터(가중치 및 편향)를 가진 784-32-10 구조를 특징으로 합니다. 역전파 (Backpropagation) 또는 그래디언트 (Gradient) 정보를 사용하는 대신, 미분 없는 최적화 (Derivative-Free Optimization) 방법인 MDP를 사용하여 파라미터를 최적화했습니다.

목표는 5,000개의 훈련 이미지 서브셋에 대해 교차 엔트로피 손실 (Cross-Entropy Loss)을 직접 최소화하는 것이었습니다. 최종 평가는 독립적인 검증 (Validation) 및 테스트 (Test) 세트에서 수행되었습니다.

가장 성능이 좋았던 실행에서 MDP는 0.0004083의 목적 함수 손실 (Objective loss), 93.7%의 검증 정확도 (Validation accuracy), 그리고 93.4%의 테스트 정확도 (Test accuracy)를 달성했습니다. 이러한 결과는 동일한 네트워크 구조를 사용하여 최종 손실 0.002945, 검증 정확도 91.8%, 테스트 정확도 91.7%를 달성한 Adam 베이스라인보다 뛰어난 성능을 보여줍니다.

특히, 이 최적화는 그래디언트나 개체군 기반 방법 (Population-based methods)에 의존하지 않고 1,000,000번의 함수 평가 (Function evaluations)를 통해 25,450차원의 탐색 공간 (Search space)에서 성공적으로 수행되었으며 수렴을 달성했습니다.

이 테스트를 위한 코드와 다른 Python 구현 예제들은 공식 프로젝트 저장소의 examples 폴더에서 확인할 수 있습니다:
https://github.com/misa-hdez/sgo-lab
/u/Mis4318 에 의해 r/MachineLearning 에 제출됨
[link] [comments]