NeuronSoup: 역전파(Backpropagation) 없이 비동기적이고 공유된 뉴런의 시간 그래프를 진화시키는 방법
요약
NeuronSoup은 기존 딥러닝의 동기적 계층 처리 방식을 공유 뉴런 풀을 이용한 비동기적 신호 전파로 대체하는 신경 계산 아키텍처입니다. 이 시스템은 유전 알고리즘으로 진화하며, 물리적으로 공유되는 은닉 뉴런들이 간섭 현상을 통해 정보를 전달합니다. MNIST 분류 실험에서 10,000세대 만에 85.9%의 테스트 정확도를 달성했습니다.
핵심 포인트
- 역전파 없이 비동기적 신호 전파를 구현하는 아키텍처 제시
- 공유 뉴런 풀을 통해 경로 간 측면 상호작용(lateral interactions) 포착
- 유전 알고리즘으로 전체 구조가 진화하며 최적화됨
- 미분 가능한 계산 그래프의 한계를 극복하고 일반화 가능성을 높임
우리는 NeuronSoup이라는 신경 계산 아키텍처를 제시합니다. 이 아키텍처는 동기적인 계층별 처리 방식을, 공유된 뉴런 풀을 통한 비동기적이고 지연 매개 신호 전파로 대체합니다. 네트워크의 각 경로는 하나의 입력 뉴런에서 하나의 출력 뉴런으로 가변 개수의 중간 은닉 뉴런을 거쳐 연속 값(continuous-valued) 신호를 전달합니다. 은닉 뉴런들은 경로들 사이에서 물리적으로 공유됩니다: 두 경로가 같은 뉴런을 통과할 때, 두 번째 도착은 첫 번째가 남긴 누적된 상태를 만나게 되며, 이는 신호의 극성과 도착 시간에 따라 건설적인 간섭 또는 파괴적인 간섭을 생성합니다. 전체 아키텍처—위상(topology), 가중치(weights), 지연 시간(delays), 연결성(connectivity)—는 14,602개의 유전자로 구성된 평평한 실수 값 게놈(genome)에 작동하는 유전 알고리즘(genetic algorithm)에 의해 공동 진화됩니다. 고정된 ResNet18 특징을 입력으로 사용하여 10클래스 MNIST 숫자 분류를 수행했을 때, 이 시스템은 266개의 은닉 뉴런(이 중 156개가 여러 경로에서 공유되며, 하나의 뉴런이 11개의 서로 다른 경로에 참여함)을 거쳐 204개의 활성 경로를 가진 네트워크로 진화했으며, 10,000세대 후에 85.9%의 테스트 정확도를 달성했습니다. 학습된 모델은 115 KB 크기입니다. 우리는 이 아키텍처가 현재 딥러닝의 근본적인 한계점들을 해결한다고 주장합니다: 이는 미분 가능한 계산 그래프(differentiable computation graph)를 요구하지 않으며, 샘플별로 계산 깊이를 조정하고, 현재 아키텍처들이 명시적으로 설계해야 하는 처리 경로 간의 측면 상호작용(lateral interactions)을 발견해냅니다. 우리는 왜 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인지, 왜 CMA-ES가 이 규모에서 실패하는지, 그리고 아키텍처가 인코더와 출력 구조를 대체함으로써 임의의 영역으로 어떻게 일반화되는지에 대해 논의합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기