요약

TurboQuant의 수학적 원리와 PolarQuant 기술을 심층 분석합니다. PolarQuant는 극좌 변환과 재귀 알고리즘을 통해 KV 캐시를 4.2배 이상 압축하여 긴 문맥 처리 효율을 높이는 새로운 양자화 방법론을 제시합니다.

핵심 포인트

• PolarQuant는 극좌 좌표 변환을 통해 KV 임베딩을 양자화함
• 재귀 알고리즘을 사용하여 각도를 양자화하는 방식 채택
• 긴 문맥 평가 시 KV 캐시를 4.2배 이상 압축 가능
• LLM의 자기회귀 생성 시 발생하는 KV 캐시 메모리 문제를 해결