한 번의 컴파일로 어디서든 미분하기: 미분 가능한 메타 순환 인터프리터 (Differentiable Meta-Circular

프로그램 실행과 경사 기반 최적화 (gradient-based optimization) 사이의 경계는 코드 자체를 학습 가능한 과학적 모델로 사용하는 데 오랫동안 제약이 되어 왔습니다. 본 논문에서는 Scheme의 셀프 호스팅 (self-hosting) 부분집합을 autograd 백엔드를 위한 미분 가능한 계산 그래프 (differentiable computation graphs)로 변환하는 컴파일러를 제시합니다. 이 부분집합은 자체 평가기 (evaluator)를 컴파일할 수 있기 때문에, 이는 미분 가능한 메타 순환 인터프리터 (Differentiable Meta-Circular Interpretation, DMCI)를 생성합니다. 즉, 컴파일된 Scheme 인터프리터는 데이터로 제공된 프로그램을 실행하며, 역방향 모드 자동 미분 (reverse-mode autodiff)은 해당 프로그램에 내장된 연속적인 상수 (continuous constants)로 경사 (gradients)를 전파합니다. 인터프리터는 한 번만 컴파일되므로, 새로운 프로그램들은 재컴파일이나 별도의 경사 메커니즘 없이도 클로저 (closures), 재귀 (recursion), 데이터 구조를 유지하면서 미분 가능성을 상속받습니다. 우리는 컴파일된 인터프리터를 통한 경사가 거의 모든 곳에서 정확함을 증명하며, 171개의 재귀 및 고차 프로그램-시드 (program-seed) 쌍에 대해 수치적 정밀도 내에서 직접 컴파일된 결과와 일치함을 보여줍니다. 그런 다음 우리는 프로그램과 파라미터의 공동 탐색 (program-and-parameter co-search)을 위해 DMCI를 사용합니다. 여기서 대규모 언어 모델 (Large Language Model, LLM)은 Scheme 프로그램을 제안하고, 정확한 경사는 단일 고정된 인터프리터를 통해 해당 프로그램의 연속적 파라미터를 보정합니다. 이는 외부 루프가 이산적인 프로그램 구조를 제안하고 DMCI가 각 후보의 연속적 파라미터에 대해 정확한 경사 기반 보정을 제공하는 OpenEvolve 스타일의 프로그램 탐색을 가능하게 합니다. 배터리 용량 감소 (capacity-fade) 데이터에 대해, 이 탐색은 무릎 모양의 성능 저하 구조 (knee-like degradation structure)를 복구하며, 더 어려운 초기 외삽 (early-extrapolation) 분할에서 수작업으로 제작된 베이스라인보다 홀드아웃 외삽 (held-out extrapolation) 성능을 향상시키고, 후기 분할에서는 베이스라인과 일치하는 성능을 보였습니다. 고차원 El Nino 역문제 (inverse problem)에서 DMCI는 경사 없는 탐색 (gradient-free search)이 실패하는 인터프리터 기반 칼만 필터 (Kalman-filter) 가능도 (likelihood)를 최적화합니다. 이러한 결과는 기호 회귀 (symbolic regression) 및 뉴로심볼릭 탐색 (neurosymbolic search)을 폐쇄형 수식 (closed-form expressions)에서 실행 가능하고 상태를 가진 (stateful) 프로그램으로 확장하여, 모델이 생성한 코드를 데이터에 대해 직접 최적화할 수 있게 합니다.