CloudCons: 클라우드 자원 통합을 위한 포괄적인 종단 간 벤치마크

서비스 신뢰성을 보장하기 위해 보수적으로 과잉 프로비저닝(over-provisioning)하는 경향 때문에, 클라우드 데이터 센터의 자원 활용률은 여전히 낮은 수준에 머물러 있습니다. 이를 완화하기 위해, 미래 수요를 예측하여 통합을 최적화하는 '예측 후 최적화(forecast-then-optimize)' 패러다임이 등장했습니다. 떠오르는 시계열 기반 모델(time series foundation models)들은 제로샷 일반화(zero-shot generalization)를 통해 이 패러다임을 향상시킬 것을 약속하지만, 기존 벤치마크는 오직 예측 오류 지표에만 초점을 맞추고 있습니다. 이러한 고급 모델들의 실제 의사결정 유용성(decision utility)은 아직 검증되지 않아, 다운스트림 작업에서의 실질적인 가치가 불확실합니다. 이 격차를 해소하기 위해, 우리는 클라우드 자원 통합이라는 특정 맥락 내에서 예측 모델을 평가하도록 설계된 포괄적인 종단 간 벤치마크인 CloudCons를 제안합니다. 우리는 Huawei Cloud, Microsoft Azure, Google Borg 등 다양한 워크로드의 고품질 데이터셋을 구축했으며, 이 데이터셋은 동기화된 일주기 리듬부터 확률적이고 맥동 같은 버스트(burst), 그리고 고주파 노이즈에 이르기까지 뚜렷한 서비스 특성을 포착합니다. 우리는 통계 모델, 딥러닝 모델, 그리고 기반 모델을 광범위하게 평가했습니다. 우리의 실험은 중요한 발견을 보여줍니다: 기반 모델들이 우수한 제로샷 예측 정확도를 시연하지만, 이 장점이 본질적으로 더 나은 의사결정 유용성으로 이어지지는 않습니다. 실질적인 중요성을 고려하여, 우리는 예측 분위수(predictive quantiles)의 선택이 어떻게 중요한 레버 역할을 하는지 체계적으로 분석합니다. 자원 효율성과 서비스 신뢰성 사이의 상충 관계를 균형 있게 맞추기 위해 이러한 선택을 보정하는 실행 가능한 지침을 제공함으로써, 실제 배포 결정에 필수적인 통찰력을 제공합니다.