Archi: CMS 실험에서의 에이전트 기반 운영 (Agentic Operations)

우리는 이질적인 데이터 소스의 체계적인 수집 및 조직화와, 이를 검색하고 추론하는 구성 가능하고(configurable), 프라이빗하며, 확장 가능한 에이전트의 배포를 결합한 과학적 협업을 위한 오픈 소스 엔드 투 엔드(end-to-end) 프레임워크인 Archi를 선보입니다. Archi의 인스턴스는 2026년 2월부터 CERN의 LHC에 있는 CMS 실험의 컴퓨팅 운영(Computing Operations) 팀을 위해 기술 운영자(technical operators)를 지원하는 에이전트로 배포되었으며, 문서, 과거 데이터 및 실시간 모니터링 시스템을 결합하여 검색 및 분석 기능을 제공합니다. 우리는 인간 및 자동화 패널이 채점한, 운영자 피드백과 실제 사용 환경에서 수집된 질문 세트를 통해 시스템을 평가합니다. 이 시스템은 운영 작업에서 효과적임을 입증하였으며, CMS 운영자들이 제기한 실제 질의를 해결합니다. 또한 우리는 로컬에 호스팅된 오픈 웨이트(open-weight) 모델이 경쟁력 있는 성능을 보여주며, 민감한 데이터의 완전한 프라이빗 관리를 가능하게 한다는 점을 관찰했습니다.