미분 없는 신경망 최적화: MNIST 사례 [R]
요약
MNIST 이미지 분류를 위해 미분 정보 없이 MDP(Derivative-Free Optimization)를 사용하여 신경망을 최적화한 연구 사례입니다. 실험 결과, MDP 방식이 기존 Adam 옵티마이저보다 더 낮은 손실값과 높은 정확도를 기록하며 우수한 성능을 입증했습니다.
핵심 포인트
- 미분(Gradient) 없이 MDP를 통한 신경망 파라미터 최적화 수행
- Adam 베이스라인 대비 더 높은 테스트 정확도(93.4%) 달성
- 25,450차원의 고차원 탐색 공간에서 성공적인 수렴 확인
- 1,000,000번의 함수 평가를 통해 최적화 완료
MNIST 이미지 분류를 위한 신경망에 대해 직접적인 최적화 테스트가 수행되었습니다. 이 네트워크는 총 25,450개의 연속 파라미터(가중치 및 편향)를 가진 784-32-10 구조를 특징으로 합니다. 역전파 (Backpropagation) 또는 그래디언트 (Gradient) 정보를 사용하는 대신, 미분 없는 최적화 (Derivative-Free Optimization) 방법인 MDP를 사용하여 파라미터를 최적화했습니다.
목표는 5,000개의 훈련 이미지 서브셋에 대해 교차 엔트로피 손실 (Cross-Entropy Loss)을 직접 최소화하는 것이었습니다. 최종 평가는 독립적인 검증 (Validation) 및 테스트 (Test) 세트에서 수행되었습니다.
가장 성능이 좋았던 실행에서 MDP는 0.0004083의 목적 함수 손실 (Objective loss), 93.7%의 검증 정확도 (Validation accuracy), 그리고 93.4%의 테스트 정확도 (Test accuracy)를 달성했습니다. 이러한 결과는 동일한 네트워크 구조를 사용하여 최종 손실 0.002945, 검증 정확도 91.8%, 테스트 정확도 91.7%를 달성한 Adam 베이스라인보다 뛰어난 성능을 보여줍니다.
특히, 이 최적화는 그래디언트나 개체군 기반 방법 (Population-based methods)에 의존하지 않고 1,000,000번의 함수 평가 (Function evaluations)를 통해 25,450차원의 탐색 공간 (Search space)에서 성공적으로 수행되었으며 수렴을 달성했습니다.
이 테스트를 위한 코드와 다른 Python 구현 예제들은 공식 프로젝트 저장소의 examples 폴더에서 확인할 수 있습니다:
https://github.com/misa-hdez/sgo-lab
/u/Mis4318 에 의해 r/MachineLearning 에 제출됨
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기