GrapNet: 프로그래밍 가능한 동적 구조 신경망 그래프 기질 (Neural Graph Substrate)

프로그래밍 가능성(Programmability)은 고정된 텐서(fixed-tensor) 신경망에서 결여된 일급 인터페이스(first-class interface)입니다. 관계를 편집하거나, 서브그래프(subgraph)를 동결하거나, 로컬 함수를 감사하거나, 실행 백엔드(execution backend)를 변경하는 작업은 임시방편적인 파라미터 수술(ad-hoc parameter surgery)이 아니라 신경망 프로그램(neural program) 상의 연산이어야 합니다. GrapNet은 이러한 '네트워크로서의 그래프(graph-as-network)' 설정을 연구합니다. 여기서 그래프는 입력 데이터 그래프가 아니라, 아키텍처(architecture)이자 실행 가능한 프로그램입니다. 각 연산 노드(compute node)는 다음 레이어의 자식 참조(child references)와 해당 참조에 정렬된 학습 가능한 할당 벡터(trainable allocation vector)를 소유합니다. 관계를 삭제하면 자식 참조와 그에 대응하는 할당 좌표(allocation coordinate)가 물리적으로 모두 제거됩니다. 구조적 규칙(Structural rules)과 실행 정책(execution policies)은 노드 코어 외부에 존재하므로, 동일한 자식 소유 그래프를 확장하거나, 동결하거나, 구조적으로 편집하거나, 학습 가능한 패밀리 블록(family blocks)으로 그룹화하거나, 활성 관계에 대한 어텐션(attention)을 통해 라우팅하거나, 토폴로지(topology)가 안정화된 후 밀집 스냅샷(dense snapshots)으로 낮출(lowered) 수 있습니다. GrapNet은 벡터 값 부모 인터페이스(vector-valued parent interface)를 통해 기존 모듈들과 결합합니다. 밀집 레이어(dense layers), CNN 인코더(CNN encoders), ResNet 특징 추출기(ResNet feature extractors), 어텐션 블록(attention blocks), 그리고 트랜스포머 표현(transformer representations)은 모두 좌표당 하나의 감각 GrapNode로 입력될 수 있습니다. 평가는 새로운 리플레이 벤치마크(replay benchmark)가 아닌 프로그래밍 가능성 스트레스 테스트(programmability stress suite)로 구성되었습니다. 일치하는 10개 시드(seed)의 Split Fashion-MNIST 연구에서, 가소성(plastic)을 가진 GrapNet+ER 헤드는 동일한 seen-class 손실(loss) 및 리플레이 메모리(replay memory) 조건 하에서 파라미터가 더 큰 dense MLP+ER의 51.08% 대비 63.16%의 seen-class 정확도(accuracy)를 달성하였으며, 두 값의 차이는 12.08포인트(p=1.3e-5)였습니다. 동결된 ImageNet ResNet-18 인코더를 사용한 Split CIFAR-10 실험에서, 동일한 기질(substrate)은 MLP-256 대비 온라인 헤드(online head) 성능을 3.81포인트(p=0.0026) 향상시켰습니다. 이러한 결과는 GrapNet이 충실한 실행 뷰(execution views)를 갖춘 구조적 프로그래밍 가능성을 핵심 가치로 하는 편집 가능한 신경망 그래프 기질(neural graph substrate)임을 뒷받침합니다.