OrpQuant: Multiplier-Free Power-of-Two Transformer 양자화를 위한 기하학적 직교 잔차 투영

요약

OrpQuant는 엣지 디바이스 배포를 위해 MAC 연산을 비트 시프트로 대체하는 Power-of-Two 양자화 프레임워크를 제안합니다. 직교 잔차 투영(ORP) 기술을 통해 초저비트 양자화 시 발생하는 해상도 저하 문제를 해결하고 하드웨어 효율성을 극대화합니다.

핵심 포인트

• MAC 연산을 비트 시프트 및 덧셈으로 대체하여 하드웨어 효율성 증대
• 직교 잔차 투영(ORP)을 통한 고차원 특징 매니폴드 보존
• 분석적 솔버를 사용하여 LLaMA-2-7B 교정 시간을 15분으로 단축
• 3비트 환경에서 기존 MAC 기반 방식보다 우수한 성능 입증
• 28nm 노드 RTL 합성 결과 타이밍 병목 현상 완화 확인