무작위 Hadamard Transform을 이용한 증명 가능한 양자화 (Provable Quantization with Randomized

요약

본 연구는 무작위 Hadamard Transform ($HD$)을 활용한 디더링 양자화(Dithered Quantization) 기법을 제안한다. 이 방법은 입력 벡터에 $HD$를 적용하고, 추가적인 무작위 스칼라 오프셋을 빼서 무시할 수 있는 비용으로 무작위성을 주입하는 것이 핵심이다. 연구진은 이 접근 방식이 편향되지 않으며, 진정한 무작위 회전 행렬로 달성 가능한 것과 점근적으로 일치하는 평균 제곱 오차(MSE) 경계값을 제공함을 증명했다.

핵심 포인트

• 무작위 Hadamard Transform ($HD$)을 이용한 디더링 양자화는 기존의 벡터 양자화 기법에 무작위성을 추가하여 성능을 개선한다.
• 이 방법은 입력 벡터에 $HD$를 적용하고, 무작위 스칼라 오프셋을 빼서 구현된다.
• 제안된 접근 방식은 편향되지 않았으며, 평균 제곱 오차(MSE) 측면에서 이론적 한계치와 일치함을 증명했다.
• TurboQuant의 디더링 버전이 좌표당 $b$ 비트에서 특정 MSE($ig(rac{ ext{π} ext{sqrt}(3)}{2} + o(1)ig) imes 4^{-b}$)를 달성함을 수학적으로 입증하였다.