CLOUDADV: 드리프트 상황에서 제로샷 파운데이션 모델을 활용한 의사결정 정렬형 인스턴스 크기 산정
요약
워크로드 드리프트 상황에서 클라우드 VM 인스턴스 크기를 최적화하는 CLOUDADV 시스템을 제안합니다. 제로샷 시계열 예측과 LLM을 결합하여 비용 절감과 운영 효율성을 동시에 달성하는 의사결정 정렬형 권고 방식을 다룹니다.
핵심 포인트
- 제로샷 파운데이션 모델을 활용한 클라우드 인스턴스 크기 산정
- 시뮬레이션 결과 월간 비용을 약 52.9% 절감하는 효과 입증
- 재학습 및 재배포 부담을 줄이는 운영 효율성 제공
- LLM 기반의 의사결정 정렬형 프로비저닝 방식 제시
클라우드 가상 머신(VM)은 종종 과다 할당(overprovisioned)되어 피할 수 있는 비용 및 운영 비효율성을 초래합니다. 본 논문에서는 워크로드 드리프트(workload drift) 상황에서 클라우드 인스턴스 크기 산정(sizing)을 위한 엔지니어 대상 대화형 권고 시스템인 CLOUDADV를 제시합니다. 이 시스템은 제로샷 시계열 예측(zero-shot time-series forecasting)과 일(day), 주(week), 월(month) 단위의 계획 기간에 걸친 제한된 권고 생성(bounded recommendation generation)을 결합합니다. 각 쿼리에 대해, CLOUDADV는 과거 사용량, 예측 요약, 현재 VM 메타데이터, 후보 인스턴스 옵션, 가격 책정 및 명시적인 크기 산정 휴리스틱(sizing heuristics)으로부터 구조화된 의사결정 컨텍스트를 구축합니다. 오프라인에서는 더 높은 용량의 LLM을 사용하여 참조 권고(reference recommendations)를 생성하며, 배포 시의 지연 시간(latency) 및 비용 제약 조건 하에서의 정렬(alignment)을 평가하기 위해 동일한 프롬프트에 대해 더 작은 프로덕션 모델을 평가합니다. 평가는 시뮬레이션된 Azure 비용 절감 및 사후 초과(ex-post exceedance)를 사용하여 다운스트림 권고 품질을 우선시하며, 롤링 오리진(rolling-origin) 예측 정확도는 고전적 및 지도 학습(supervised) 베이스라인에 대한 보조 진단 지표로 보고됩니다. 7개의 프로덕션 VM에 대한 사례 연구에서, 참조 권고는 시뮬레이션된 월간 비용을 약 $1,503에서 $708로 줄여, 보수적인 휴리스틱 제약 조건 하에서 월 $795(52.9%)의 절감 효과를 가져왔으며, 다운그레이드된 사례 중 관찰된 가장 높은 초과율은 1.5%였습니다. Chronos-2가 모든 예측 지표를 최소화하지는 않지만, 지도 학습 기반의 개별 VM 베이스라인과 유사한 권고 패턴을 자주 유도합니다. 이러한 결과는 제로샷 파운데이션 모델(zero-shot foundation models)이 비정상성(non-stationary) 클라우드 환경에서 의사결정 정렬형 프로비저닝(decision-aligned provisioning)을 지원할 수 있는 동시에, 반복적인 테넌트별 재학습, 재검증 및 재배포에 따른 운영 부담을 줄여줄 수 있음을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기