양자화된 순환 상태 캐시를 위한 저편차 디더링

Mamba 스타일 및 하이브리드 언어 모델은 과거 정보를 고정 크기의 순환 상태(recurrent state)로 압축하며, 이 상태는 토큰이 생성될 때마다 다시 작성됩니다. 이 상태를 낮은 정밀도로 저장하면 메모리 대역폭을 절약할 수 있지만, 모든 반올림 오차(rounding error)가 다음 업데이트에 피드백되어 장기간의 생성 과정에서 누적될 수 있습니다. 실제 시스템에서는 상태를 확률적으로 반올림합니다(stochastically). 우리는 이러한 캐시가 어떤 반올림 규칙을 사용해야 하는지 질문합니다. 우리는 무작위 숫자가 필요 없는 결정론적인 황금비(golden-ratio) Weyl 디더(dither)가 순수 모델과 하이브리드 모델, 저장 형식, 그리고 긴 디코딩 지평(decoding horizons) 전반에 걸쳐 확률적 반올림보다 양자화된 모델을 전체 정밀도 모델에 일관되게 가깝게 유지하며, 추가 비용이 전혀 없음을 발견했습니다. '가장 가까운 값으로 반올림(Round-to-nearest)'은 다르게 작동합니다. 작은 업데이트를 버리기 때문에 오차가 계속 증가하여, 짧은 평가에서는 가장 좋아 보일 수 있지만 장기간의 생성 과정에서는 크게 뒤처집니다. 편차 분석(discrepancy analysis)이 이러한 순서를 설명하며, 우리는 이 이점을 조용히 제거하는 구현 함정들을 문서화합니다.