자원 제약이 있는 하드웨어에 심층 신경망 (Deep Neural Networks)을 배포하는 것은 혼합 정밀도 양자화 (Mixed-Precision Quantisation, MPQ)에 의존합니다. 현재의 배포 툴체인 (Toolchains)은 이 과정을 심각하게 파편화하고 있습니다. 양자화는 일반적으로 프런트엔드 프레임워크 (Front-end Frameworks)에서 하드웨어를 인식하지 못하는 전처리 단계로 수행되며, 물리적 머신 코드를 생성하는 다운스트림 컴파일러 (Downstream Compilers)와 단절되어 있습니다. 이러한 분리는 할당된 비트 너비 (Bit-widths)가 텐서 코어 (Tensor Cores)나 가변 너비 벡터 유닛 (Variable-width Vector Units)과 같은 대상 머신의 이기종 하드웨어 실행 블록에 제대로 매핑되지 않는 최적화되지 않은 구성을 초래하며, 심각한 런타임 실행 페널티를 발생시킵니다. 더욱이, 지수적으로 거대한 탐색 공간으로 인해 철저한 하드웨어 인 더 루프 (Hardware-in-the-loop, HIL) 테스트를 통해 이러한 구성을 평가하는 것은 실행 불가능합니다.

우리는 하드웨어 인식 MPQ를 위한 통합 컴파일러 통합 인프라스트럭처인 CONQuER를 제시합니다. CONQuER는 양자화를 TOSA 레벨의 컴파일러 파이프라인 (Compiler Pipeline)으로 이동시켜, 컴파일러 지원을 기반으로 한 지능적인 구성 처리를 가능하게 합니다. 실제 컴파일 예산 내에서 모델 레이어들의 다양한 조합 탐색 공간을 평가하기 위해, CONQuER는 NSGA-II 진화 알고리즘 (Evolutionary Algorithm)을 이중 대리 모델 (Dual-surrogate) 사전 스크리닝 엔진과 결합합니다. 이 엔진은 이론적인 캐시 메모리 경계 (Cache Memory Bounds)와 특징 공간 등방성 (Feature Space Isotropy)을 평가하여 실행 불가능한 구성을 제외합니다. 그런 다음 CONQuER는 IREE를 통해 가장 강력한 후보 정책만을 하드웨어에서 실행하고, 실행 메트릭을 온라인 보정기 (Online Calibrator)에 전달합니다. 이 보정기는 NSGA-II 진화 탐색 과정 동안 대리 모델 (Surrogate Models)을 실제 하드웨어 동작과 일치시킵니다.

모바일 및 노트북 CPU, 그리고 서버 GPU에 걸친 평가를 통해 최적의 양자화 정책은 하드웨어에 의존적임을 입증했습니다. 양자화를 컴파일러 로워링 (Compiler Lowering) 및 물리적 실행과 결합함으로써, CONQuER는 양자화되지 않은 베이스라인 대비 Top-1 정확도 오차 1.44% 이내를 유지하면서 최대 12.19배 빠른 추론 성능을 가진 파레토 최적 (Pareto-optimal) 구성을 발견합니다.