NeuralZip: 빠른 무손실 압축을 위한 재사용 가능한 설정

무손실 압축(Lossless compression)은 모델 가중치(model weights)의 부동 소수점 값(floating-point values)을 변경하지 않으면서 저장 및 이동 공간을 줄일 수 있지만, 반복적인 통계 분석과 코드 구성 과정에서 계산 오버헤드(computational overhead)가 발생합니다. 우리는 지수(exponents)의 통계적 구조를 한 번 준비하여 재사용할 수 있는지 연구했습니다. 이를 위해 NeuralZip을 소개하며, 이는 유사한 지수 분포(exponent distributions)를 가진 청크(chunks)들을 그룹화하고, 허프만 코드(Huffman codes)를 공유하며, 패킹된 지수(packed exponents)를 사용하여 반복되는 지수 튜플(exponent tuples)을 선택적으로 표현함으로써 추가적인 적당한 압축률(moderate compression ratios)을 달성합니다. 이 설정(setup)은 후속 인코딩(encodings) 전에 이러한 표현들을 선택하며, 모든 인코딩 과정에서는 현재의 텐서 값(tensor values)을 계속 처리합니다. 부동 소수점 모델 체크포인트(floating-point model checkpoints)에서, 설정 후 압축(post-setup compression)은 베이스라인 대비 1.81~21.33$ imes$ 더 빠르며 정확한 비트 단위 재구성을 달성합니다. 우리는 이 설정이 사전 계산되어 다른 호환 아키텍처로부터 전송될 수 있으며, 유사한 압축률을 유지하고 설정 비용(setup costs)을 상각할 필요가 없음을 보여줍니다. 따라서 압축 적응(compression adaptation)은 전이 가능하고 재사용 가능합니다. 훈련 체크포인트는 가중치(weights)가 진화함에 따라 지속적인 재사용을 입증합니다. 마지막으로, GPU 실험에서는 활성 메모리 사용량(active memory usage)을 최대 27.5$%$까지 줄이는 동시에 로짓(logits)을 정확하게 재현했습니다.