Random Cloud: 훈련 없이 최소 신경망 구조 탐색

저는 \emph{Random Cloud} 방법을 제안합니다. 이는 확률적 탐색과 점진적인 구조 축소를 통해 최소 전방전달 네트워크(topology)를 발견하는 훈련(training)-free 신경망 구조 탐색(neural architecture search) 접근법입니다. 완전한 훈련-가르기-재훈련(train-prune-retrain) 사이클이 필요한 사후 훈련(pruning) 방법들과 달리, 이 방법은 역전파(backpropagation) 없이 무작위 초기화된 네트워크를 평가하고, 점진적으로 그 구조를 축소하며, 마지막에 가장 좋은 최소 후보자(candidate)만 훈련합니다. 저는 7 개의 분류 벤치마크에서 Magnitude Pruning 과 Random Pruning 기준선(baselines)과 비교하여 평가했습니다. Random Cloud 은 7 개 데이터셋 중 6 개에서 두 기준선과 일치하거나 더 나은 성능을 보이며, Sonar 데이터셋에서는 매개변수 87% 를 줄이면서 통계적으로 유의미한 개선(+4.9pp 정확도, p=0.017 vs magnitude pruning) 을 달성했습니다. 특히, 이 방법은 전체 네트워크를 전혀 훈련하지 않기 때문에 5 개 데이터셋 중 4 개에서 두 가지 가르기 기준선보다 빠르며(전체 훈련 비용의 0.67--0.94 배), 이는 전체 크기 네트워크의 훈련을 완전히 피하기 때문입니다.