TORQ: MXFP4 양자화를 위한 2단계 직교 회전 (Two-Level Orthogonal Rotation)

요약

TORQ는 MXFP4 형식을 활용한 LLM 활성화 양자화 시 발생하는 정확도 저하 문제를 해결하기 위한 훈련 불필요(PTQ) 프레임워크입니다. Schur-Horn 정리를 이용한 블록 간 직교 회전과 최대 엔트로피 가이드 기반의 블록 내 회전을 통해 활성화 분포의 불균형을 해소합니다. 실험 결과, Qwen3-32B 모델에서 기존 방식 대비 정확도를 대폭 향상시켜 4비트 양자화와 전체 정밀도 추론 사이의 격차를 크게 줄였습니다.

핵심 포인트

• MXFP4 양자화의 주요 문제점인 블록 간 분산 불균형과 블록 내 코드북 활용 불균형을 식별함
• Schur-Horn 정리를 활용하여 블록 간 에너지를 재분배하는 거시적 수준의 직교 회전 도입
• 최대 엔트로피 가이드를 통해 코드북 붕괴를 방지하고 정보 용량을 극대화하는 미시적 수준의 회전 적용
• LLaMA3 및 Qwen3 모델 실험을 통해 4비트 저비트 추론의 실질적인 성능 향상 입증