Random Cloud: 훈련 없이 최소 신경망 구조 탐색

요약

Random Cloud는 확률적 탐색과 점진적인 구조 축소를 활용하여 훈련 과정 없이 최소 전방전달 신경망 구조를 발견하는 새로운 NAS(Neural Architecture Search) 접근법입니다. 이 방법은 기존의 반복적인 '훈련-가르기-재훈련' 사이클을 필요로 하는 사후 훈련 방식들과 달리, 무작위 초기화된 네트워크를 평가하고 점진적으로 구조를 축소하여 가장 좋은 후보만 최종적으로 훈련합니다. 실험 결과, Random Cloud는 여러 분류 벤치마크에서 기존의 가지치기(pruning) 기준선과 동등하거나 우수한 성능을 보였으며, 특히 매개변수를 크게 줄이면서도 통계적으로 유의미한 정확도 향상을 달성했습니다.

핵심 포인트

• Random Cloud는 훈련 과정 없이 최소 전방전달 네트워크 구조를 탐색하는 새로운 NAS 방법론입니다.
• 기존 방식과 달리, 반복적인 '훈련-가르기-재훈련' 사이클을 완전히 회피하여 계산 효율성을 극대화합니다.
• 다양한 분류 벤치마크에서 기존의 가지치기(pruning) 기준선 대비 동등하거나 우수한 성능을 입증했습니다.
• 매개변수를 대폭 줄이면서도 통계적으로 유의미한 정확도 개선(+4.9pp 등)을 달성할 수 있습니다.