Ω-QVLA: 복합 회전 및 단계별 스케일링을 통한 Vision-Language-Action 모델의 강건한 양자화 (Quantization)

요약

Omega-QVLA는 VLA 모델의 온디바이스 배포를 위해 제안된 최초의 훈련 불필요 사후 양자화 프레임워크입니다. 복합 SVD-Hadamard 회전과 단계별 스케일링 기술을 통해 액션 헤드까지 균일한 W4A4 정밀도로 압축하면서도 높은 작업 성공률을 유지합니다.

핵심 포인트

• VLA 모델 전체를 W4A4 정밀도로 압축하는 최초의 PTQ 프레임워크
• 복합 SVD-Hadamard 회전으로 채널별 가중치 에너지 균등화
• 단계별 DiT 활성화 스케일링을 통한 동적 범위 드리프트 흡수
• 메모리 사용량을 71.3% 감소시키며 FP16 수준의 성능 유지