지식 증류 및 하드웨어 공동 설계를 통한 입자 물리학 검출기 엣지에서의 산업용 파운데이션 모델 활용
요약
본 연구는 입자 물리학 데이터 수집(DAQ) 시스템을 위한 산업용 파운데이션 모델의 최초 미세 조정 사례를 제시합니다. Google Research의 TimesFM 백본을 활용하여 드리프트 챔버 트래커 및 이중 판독 칼로리미터에 대한 실시간 회귀 작업을 시연했습니다. 나아가, 지식 증류와 FPGA 공동 설계를 통해 현장(edge)에서 모델이 실시간으로 구동 가능함을 입증했습니다.
핵심 포인트
- TimesFM을 활용한 파운데이션 모델의 최초 미세 조정 사례 제시
- 지식 증류 및 FPGA 공동 설계로 엣지 디바이스 구현 가능
- 실시간 데이터 처리를 위한 범용적인 모델 압축 파이프라인 구축
미래의 입자 물리학 실험에서 데이터 수집(DAQ) 시스템은 AI/ML 개발의 양극단으로부터 이점을 얻을 수 있습니다. 대규모 파운데이션 모델은 특징 추출 알고리즘의 성능을 향상시킬 수 있으며, 소규모 검출기 배포는 실시간 지능형 데이터 처리를 가능하게 합니다. 본 연구는 입자 물리학 DAQ를 위한 산업용 파운데이션 모델의 최초 미세 조정(fine-tuning) 사례를 제공합니다. Google Research의 TimesFM (Time Series Foundation Model) 백본에서 시작하여, 우리는 드리프트 챔버 트래커 및 이중 판독 칼로리미터에 대한 실시간 회귀 작업에 대해 미세 조정을 시연합니다. 나아가, 미세 조정된 TimesFM 모델은 학생(student)으로 지식 증류(distilled)되고 FPGA 구현과 공동 설계되어 이러한 모델들이 미래 충돌기에서 실시간으로 실행될 수 있도록 합니다. 미세 조정된 지식 증류 모델들은 각 작업에 대해 이전에 발표된 AI/ML 솔루션의 성능을 충족하거나 능가합니다. 또한, TimesFM으로부터의 지식 증류 및 모델 압축 파이프라인은 범용적이며 다양한 도메인의 1D 파형 작업에 쉽게 적용할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기