심층 신경망(Deep Neural Networks)이 매우 큰 규모의 과학적 데이터 압축을 개선할 수 있는가?

오차 범위 제한 손실 압축 (Error-bounded lossy compression)은 현대의 시뮬레이션과 관측 기기에서 생성되는 급격히 증가하는 과학적 데이터의 양을 관리하기 위한 근본적인 기술입니다. 대부분의 최첨단 압축기 (state-of-the-art-compressors)는 예측-잔차 (prediction-residual) 패러다임을 따르며, 여기서 압축 효율은 예측기 (predictor)의 품질에 달려 있습니다. 즉, 더 정확한 예측은 압축하기 더 쉬운 더 작은 잔차 (residuals)를 생성합니다. 이러한 관찰은 한 가지 질문을 던집니다: 현대의 머신러닝 (ML) 모델이 과학적 데이터 압축을 위한 우수한 예측기로 기능할 수 있을까요? 압축 전용 ML 예측기를 개발하는 데는 상당한 자원이 필요하기 때문에 이 질문에 직접적으로 답하는 것은 어렵습니다. 대신, 우리는 이미 매우 정확한 사전 학습된 기상 예측 파운데이션 모델 (foundation models)이 존재하는 기후 도메인을 활용하여 이를 이상적인 테스트베드로 삼았습니다. 우리는 공간 및 시간적 딥러닝 (deep learning) 모델을 전통적인 오차 범위 제한 압축 파이프라인에 통합하는 프레임워크를 제시합니다. 이 프레임워크는 자기회귀 (auto-regressive) 예측 모델을 지원하며 오차 누적을 방지합니다. 대표적인 대규모 과학적 데이터셋인 ERA5 기후 데이터를 사용하여, 우리는 동일한 양자화 (quantization) 및 엔트로피 코딩 (entropy-coding) 백엔드 하에서 최첨단 압축기인 SZ3.1과 비교하여 세 가지의 서로 다른 ML 예측기, 즉 VAEformer 기반 코덱 (CRA5), 그래프 신경망 (graph neural network) 예측기 (GraphCast), 그리고 비전 트랜스포머 (vision-transformer) 예측기 (Aurora)를 평가합니다. 약 1.7 TB의 데이터에 대한 평가 결과 놀라운 결과가 나타났습니다. ML 예측기는 더 정확한 예측을 생성하여 재구성 품질 (reconstruction quality)을 최대 91%까지 개선할 수 있고, 예측 가능성이 높은 변수에 대해 최대 9.6배 더 높은 압축률을 달성할 수 있음에도 불구하고, 전체 데이터셋 수준의 압축률을 개선하지는 못했습니다. 우리는 예측 정확도만으로는 불충분하다는 것을 보여줍니다. 결과적으로 발생하는 잔차 (residuals)의 공간적 구조가 엔트로피 코딩 (entropy coding) 효율성에 결정적인 역할을 합니다.