FlowGenesis: 표현 기반 신경 구조의 자가 조직화

원문 발행 2026. 10. 26. 18:46원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

FlowGenesis는 Representation Flux라는 국소 통계량을 활용하여 신경 구조가 자율적으로 진화하는 프레임워크입니다. 이 방식은 높은 변화를 보이는 뉴런을 분할하고 낮은 활성도를 가진 뉴런을 가지치기하며, 별도의 아키텍처 검색 없이 네트워크 용량이 적응하도록 합니다. 이는 표현 학습과 구조적 변화 간의 피드백을 통해 지속적인 작업 환경에서도 성능을 유지하는 것을 가능하게 합니다.

핵심 포인트

Representation Flux를 이용해 신경 구조가 자율적으로 진화합니다.
높은 Flux는 뉴런 분할(splitting)로, 낮은 활성도는 가지치기(pruning)됩니다.
별도의 아키텍처 검색 없이 네트워크 용량의 적응을 가능하게 합니다.
지속 학습 환경에서 파라미터와 뉴런 할당량을 줄일 수 있습니다.

깊은 신경망(Deep neural networks)은 내부 표현(internal representations)이 지속적으로 진화함에도 불구하고, 일반적으로 훈련 전에 지정된 구조에 의존합니다. 우리는 FlowGenesis를 소개합니다. 이 프레임워크는 미니배치 평균 활성화(minibatch mean activations)의 변화를 포착하는 국소 통계량인 Representation Flux에 의해 안내되어 신경 구조가 뉴런 생성(neuron birth)과 가지치기(pruning)를 통해 적응하도록 합니다.

지속적으로 높은 Flux를 보이는 뉴런은 네트워크 기능을 대략적으로 보존하도록 설계된 분할(splitting)을 거치며, 낮은 Flux와 낮은 활성도를 가진 뉴런은 가지치기됩니다. 이 메커니즘은 목표 구조를 지정하거나 별도의 아키텍처 검색(architecture search)을 수행하지 않고도 네트워크 용량(network capacity)이 진화할 수 있도록 합니다.

이미지 및 텍스트 분류에 대한 실험 결과, 크기가 다른 초기값으로 시작된 네트워크들이 각 데이터셋 내에서 유사한 최종 뉴런 개수 범위(final neuron-count ranges)에 도달하며 비교 가능한 예측 성능을 유지하는 것을 보여줍니다. 우리는 FlowGenesis를 지속 학습(continual learning)으로 확장하여, 표현 기반 구조 적응(representation-guided structural adaptation)을 통해 태스크 증분 학습 환경(task-incremental learning setting)에서 고정 폭의 Progressive Neural Networks에 필적하는 정확도를 유지하면서 연속적인 작업에 할당되는 뉴런과 파라미터(parameters)를 줄입니다.

이러한 발견은 신경 구조가 표현 학습(representation learning)과 구조적 변화(structural change) 간의 피드백을 통해 적응할 수 있음을 입증하며, 훈련 전에 네트워크 용량을 지정하는 것에 대한 대안을 제시합니다.

AI 자동 생성 콘텐츠

원문 바로가기

FlowGenesis: 표현 기반 신경 구조의 자가 조직화

요약

핵심 포인트

댓글