AgentRivet: 저널 출판물로부터 Rivet 루틴을 자동 생성하는 시스템

입자 물리학 충돌기 실험은 모델 독립적 측정을 위한 분석 보존 전략의 일부로 Rivet 루틴을 제공합니다. Rivet은 C++ 툴킷으로, 새로운 이론적 모델이 측정값과 비교될 수 있도록 하여, Monte Carlo 이벤트 생성기의 개발 및 조정뿐만 아니라 표준 모형(Standard Model)을 넘어서는 물리학 탐색에 도움을 줍니다. 하지만 분석 커버리지는 불완전한 것으로 알려져 있으며, 측정값 중 단지 39%만이 문서화되고 공개적으로 사용 가능한 Rivet 루틴을 가지고 있습니다. 본 논문에서는 누락된 루틴을 제공하는 것을 목표로 대규모 언어 모델(Large Language Models) 기반의 자동화 워크플로우를 설계하고 구현했습니다. AgentRivet이라고 불리는 이 다단계 워크플로우는 출판된 논문에서 물리학 분석 정보를 추출하고, 자율적인 품질 관리의 일부로서 중간 코드 및 물리학 검토를 거쳐 누락된 Rivet 루틴을 작성합니다. 우리는 OpenAI, Anthropic, Google이 제공하는 상용 대규모 언어 모델을 사용하여 ATLAS 및 CMS 실험의 두 가지 최근 측정값에 대해 얻은 결과를 보고합니다. AgentRivet은 몇 안 되는 구문 오류와 함께 유능한 Rivet 루틴을 생성한다는 것을 발견했습니다. 이 루틴들의 물리학적 충실도는 합리적이며 관련 출판물에서 주어진 설명을 따릅니다. 그럼에도 불구하고, 물리학 구현 문제는 발생하며, 이는 AgentRivet이 생성한 아티팩트를 사용하여 조사되었습니다. 대부분의 물리학 구현 문제는 주어진 출판물의 미묘하지만 모호한 정의에서 비롯되었지만, 일부 모델은 명확한 정의가 주어지더라도 복잡한 관측량(observables)을 구현하는 데 어려움을 겪었습니다.