저비트 GDN 순환 상태 양자화: 전역 기울기 인식 할당 및 순수 쓰기 슬라이딩 윈도우

선형 어텐션(Linear attention)은 고정된 크기의 순환 상태(recurrent state)에 히스토리 정보를 저장하여 긴 컨텍스트 추론을 위한 간결한 메모리 표현을 제공합니다. 상태 정밀도를 더 낮추면 요청당 저장 요구 사항이 줄어들지만, 양자화 쓰기백 오류(quantized writeback errors)가 후속 순환 과정으로 유입되어 장기 추론 작업의 예측 품질을 저하시키고, 반복적인 생성 및 과도하게 긴 출력과 동반될 수 있습니다. 우리는 정밀도 할당과 최근 정보 유지 문제를 해결하기 위해 전역 기울기 인식 할당(Global Gradient-aware Allocation, GGA)과 순수 쓰기 슬라이딩 윈도우(Pure-Write Sliding Window, PW)를 제안합니다. GGA는 모델 전체의 혼합 정밀도 예산(mixed-precision budget) 하에 후보 양자화 잔차와 미래 예측 손실에 대한 기울기 민감도를 결합하여 헤드 비트 폭을 할당합니다. PW는 최근 순수 쓰기를 FP8 벡터 쌍으로 독립적으로 유지하고, 이를 전체 GDN 상태 전이(state transition)를 통해 전파한 후, 해당 정보가 윈도우를 벗어난 후에만 낮은 비트의 히스토리 상태로 병합합니다. Qwen3.5-4B/9B에 대한 일곱 가지 평가에서 GGA 할당만으로도 STEPQuant@4 대비 각각 19.48%/29.84% 포인트 향상을 보였습니다. 여기에 PW-S8을 추가하자, 세 가지 작업의 거시 평균(macro-averages)은 각각 69.83%/78.63%를 달성하며, 이는 STEPQuant@4 대비 각각 38.39%/41.21% 포인트 향상입니다. 정밀도 재할당과 윈도우 유지는 과도하게 긴 출력을 완화하는 동시에 작업 점수를 개선합니다: @6에서 GGA는 STEPQuant 대비 평균 생성 길이를 작업별로 균등하게 각각 10.45%/14.65% 감소시킵니다. 여기에 PW-S8을 추가한 GGA@4는 평균 생성 길이를 더욱 줄여 각각 32.32%/36.77%를 감소시켰습니다. 유사한 저장 예산에서의 비교 결과 또한, 최근 쓰기를 유지하기 위해 추가 용량을 사용하는 것이 단순히 누적된 상태의 비트 폭만 늘리는 것보다 더 높은 작업 점수와 더 짧은 평균 출력을 제공함을 보여줍니다.