CPU는 온디바이스(on-device) LLM 추론을 위한 가장 범용적인 타겟이지만, 기존의 저비트 양자화 방법들은 거친 작동 지점(coarse operating points)만을 제공하거나 CPU에서 효율적으로 실행하기 어려운 세밀한 혼합 정밀도(fine-grained mixed precision)를 제공합니다. 본 논문에서는 사용자가 지정한 평균 비트 예산(average-bit budget) 하에 활성화 인식 채널별 비트 할당을 위한 CPU 지향 컴파일러/양자화 공동 설계 프레임워크인 PolyQ를 제시합니다. PolyQ는 각 채널에 대해 {2, 3, 4, 8, 16} 중 하나의 비트 너비를 할당한 다음, 컴파일 타임 모델 컴파일러(compile-time model compiler)를 사용하여 채널들을 비트 균질 블록(bit-homogeneous blocks)으로 순열 및 클러스터링하고, SIMD 및 LUT와 호환되는 커널을 생성하며, 레이아웃 정규화(layout regularization)가 런타임 경로에 영향을 미치지 않도록 연산자 전반에 걸쳐 호환 가능한 순열들을 병합합니다. 이를 통해 세밀한 예산 적합성 맞춤(fine-grained budget fitting)을 CPU 전용 추론을 위한 실용적인 분수 비트 배포 방식으로 전환합니다. WikiText-2 데이터셋에서 Falcon-H1-3B, Llama2-13B, Qwen3-32B 모델에 적용한 결과, PolyQ는 3비트부터 6비트까지 안정적인 품질 스케일링을 제공하며, 3비트 목표 대비 기존 방법들보다 퍼플렉서티(perplexity)를 2.4%~32.1% 개선했습니다. 워크스테이션, 노트북, 모바일 등 세 가지 대표 CPU에서의 End-to-End 측정 결과는 컴파일러 레이아웃 정규화가 활성화 재정렬 트래픽(activation reorder traffic)을 최대 70.8%까지 줄이고, 프리필 지연 시간(prefill latency)과 디코드 처리량(decode throughput)이 구성된 비트 예산에 거의 비례하여 확장되며, 에너지/토큰 오버헤드가 최적화된 LUT 기반 백엔드 대비 2% 미만으로 유지됨을 보여줍니다. 이러한 결과들은 분수 비트 CPU 배포가 다양한 Edge 타겟에서 실용적이고, 예측 가능하며, 에너지 효율적임을 입증합니다.