시계열 모델을 동적 시스템으로 양자화: 궤적 기반 양자화 민감도 점수
요약
본 논문은 사후 학습 양자화(PTQ)를 동적 시스템 안정성 관점에서 재구성한 '궤적 기반 양자화 민감도 점수(TQS)'를 제안합니다. TQS는 네트워크 전개를 이산 시간 동적 시스템으로 모델링하여, 양자화 오차가 지평선에 걸쳐 어떻게 전파되고 증폭되는지 특성화합니다. 이를 통해 보정 데이터 없이도 효율적인 혼합 정밀도 프레임워크(TQS-PTQ)를 구축할 수 있습니다.
핵심 포인트
- TQS는 PTQ를 동적 시스템 안정성 관점에서 재구성한 지표입니다.
- 양자화 오차의 전파 및 증폭을 궤적으로 분석합니다.
- 사전 민감도 추정이 가능하여 블랙박스 네트워크에 적용할 수 있습니다.
- 보정 데이터 없이 유연한 혼합 정밀도 프레임워크를 제공합니다.
우리는 사후 학습 양자화(PTQ)를 동적 시스템 안정성 관점에서 재구성하는 지표인 궤적 기반 양자화 민감도 점수(Trajectory-based Quantization Sensitivity Score, TQS)를 소개합니다. 네트워크의 전개(rollout)를 이산 시간 동적 시스템으로 모델링함으로써, TQS는 양자화로 인해 유발된 오차가 전개 지평선(rollout horizon)에 걸쳐 어떻게 전파되고 증폭되는지를 특성화합니다. 민감도 분석이 종종 양자화 절차와 결합되는 기존의 PTQ 방법들과 달리, TQS는 양자화기 선택 및 비트 너비 할당과 분리된 사전에 민감도를 추정할 수 있게 합니다. 이러한 분리는 융합 연산자를 가진 블랙박스 또는 컴파일된 네트워크에 대해서도 양자화 예산 계획을 가능하게 합니다. 이를 바탕으로, 우리는 보정 데이터나 비용이 많이 드는 2차 근사치를 필요로 하지 않는 유연한 혼합 정밀도 프레임워크인 TQS-PTQ를 제시합니다. 우리의 실험은 동적 시스템 관점이 자원 제약 환경에서 저정밀도 배포를 위한 견고하고 고성능의 경로를 제공함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기