AI 시스템은 기호적 구조 (symbolic structure)와 피팅된 연속 매개변수 (fitted continuous parameters) 모두에 가치가 달려 있는 실행 가능한 과학적 모델을 점점 더 많이 제안하고 있습니다. 이로 인해 매개변수 교정 (parameter calibration)은 프로그램-및-매개변수 공동 탐색 (program-and-parameter co-search)의 병목 현상이 됩니다. 외부 루프 (outer loop)는 수천 개의 후보 프로그램을 생성할 수 있지만, 각 프로그램은 평가되기 전에 내부적인 경사 기반 최적화 (gradient-based optimization)를 거쳐야 합니다. 각 후보를 개별적인 미분 가능 그래프 (differentiable graph)로 스테이징하는 방식은 개별 모델을 빠르게 만들지만, 탐색을 유연하게 유지하는 '데이터로서의 프로그램 (program-as-data)' 특성을 희생합니다. 인터프리터 기반 (interpreter-based) 접근 방식은 프로그램을 런타임 데이터로 보존하지만, 수치 연산 작업을 압도하는 인터프리터 오버헤드 (interpreter overhead)를 감수해야 합니다.
본 논문에서는 각 후보를 별도의 그래프로 컴파일하지 않고도 실행 가능한 프로그램을 미분하는 런타임 표현인 Native Differentiable Virtual Machine (NDVM)을 제시합니다. NDVM은 기호적 구조를 미분 가능한 수치 상태 (differentiable numeric state)와 분리합니다. 태그 (tags), 심볼 (symbols), 환경 (environments), 그리고 제어 (control)는 네이티브 런타임 데이터로 유지되는 반면, 수치 페이로드 (numeric payloads)는 조밀한 배치 버퍼 (dense batched buffers)에 저장되며 실제 실행 트레이스 (execution trace)를 따라 정확한 역방향 모드 경사 (reverse-mode gradients)가 기록됩니다. 따라서 단 한 번의 평가자 워크 (evaluator walk)가 대규모 매개변수 벡터 집단에 걸쳐 분할 상환 (amortized)됩니다. 실제 미분 가능한 셀프 호스팅 Scheme 인터프리터의 고정된 비용 모델이 이 설계를 뒷받침합니다.
우리는 참조 백엔드 (reference backend)와 순방향 및 경사 등가성 (forward and gradient equivalence)을 가지며, 레인당 약 60배의 배치 분할 상환 (batch amortization), 거의 선형적인 멀티코어 확장성 (multicore scaling), 그리고 두 개의 독립적인 프런트엔드 (front ends)를 갖춘 네이티브 런타임으로서 NDVM을 구현했습니다. LLM이 제안한 프로그램에 대한 고정 예산 공동 탐색 (fixed-budget co-search)에서 NDVM은 실제 시간 (wall-clock time) 기준으로 약 24배 더 빨리 고품질 솔루션에 도달하며, 이는 런타임 미분 (runtime differentiation)이 과학적 발견 워크플로를 위한 실용적인 시스템 기반임을 시사합니다.