뉴럴 컴파일러 (The Neural Compiler): 하이브리드 과학적 머신러닝 (Scientific Machine Learning)을 위한

과학적 머신러닝 (Scientific machine learning)은 종종 알려진 물리 법칙을 데이터로부터 학습된 미지의 파라미터 (parameters) 또는 보정 항 (correction terms)과 결합하는 것을 요구합니다. 기존의 접근 방식들은 알려진 구조를 무시하거나, 이를 소프트 페널티 (soft penalty)로 인코딩하거나, 각 방정식마다 수동으로 작성된 PyTorch 코드를 필요로 합니다. 우리는 1차 Scheme 스타일의 표현 언어로 작성된 프로그램을 고정된 미분 가능한 PyTorch 모듈 (differentiable PyTorch modules)로 변환하는 시스템인 뉴럴 컴파일러 (The Neural Compiler)를 제시합니다. 이 모듈들은 소스 프로그램과 부동 소수점 정밀도 (floating-point precision) 수준으로 일치하며, autograd를 통해 그래디언트 (gradients)를 제공합니다. 하이브리드 모델에서 컴파일된 모듈은 알려진 물리를 정확하게 인코딩하는 반면, 학습된 구성 요소는 미지의 나머지 부분을 모델링합니다. 우리는 Feynman 물리 방정식, Lotka-Volterra 역학, 감쇠 진자 (damped pendulum), 1차원 열 방정식 (one-dimensional heat equation), 3차원 벡터 역학, 그리고 구성적 일반화 (compositional generalization) 등 6가지 실험 도메인에 걸쳐 컴파일러를 평가합니다. 컴파일된 모듈은 단일 방정식에 대해 수동으로 코딩된 PyTorch 구현과 수치적으로 일치하며, 컴파일로 인한 정확도 손실이 없음을 보여줍니다. 단 14개의 학습 가능한 파라미터만으로도 컴파일된 모델은 대부분의 경우 1% 미만의 오차로 물리 상수를 복원하는 반면, 8500개 이상의 파라미터를 가진 표준 PINN 베이스라인은 793%의 오차를 보입니다. 또한 컴파일된 모듈은 오차 없이 구성 (compose)되는 반면, 신경망 근사 (neural approximations)는 깊은 구성 체인에서 큰 오차를 누적할 수 있습니다. 이 컴파일러의 주요 가치는 수동 코딩된 방정식보다 향상된 정확도가 아니라, 체계적인 구성 가능성 (systematic composability)에 있습니다. 즉, 각 방정식을 수동으로 다시 작성할 필요 없이 기호적 명세 (symbolic specifications)로부터 정확하고 미분 가능한 모듈을 생성합니다. 이 시스템은 벡터 및 행렬 대수를 포함한 51개의 기본 연산 (primitive operations)을 지원하여, PDE 이산화 (PDE discretizations) 및 하이브리드 과학적 모델을 가능하게 합니다. 이러한 '문자열 입력, 모듈 출력 (string-in, module-out)' 인터페이스는 과학적 설명을 실행 가능한 미분 가능 모듈로 변환하는 대규모 언어 모델 (large language models)에게도 자연스러운 대상이 됩니다.