Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Edge-Cloud-Space 연속체 내 복합 AI 시스템의 SLO 준수를 위한 프레임워크 PLAIground를 제안합니다. CAIM 추상화와 Pixie 알고리즘을 통해 워크플로우 변경 없이 실행 중 최적의 모델을 동적으로 선택합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Edge, Cloud, Space를 통합하는 3D 컴퓨팅 연속체(3D Computing Continuum)에서의 애플리케이션은 객체 탐지(Object Detection), 시계열 분석(Time-series Analytics), 자연어 처리(Natural Language Processing)와 같은 여러 AI 태스크를 복합 AI 시스템(Compound AI systems)으로 결합할 것을 요구합니다. 이러한 시스템은 정확도, 지연 시간(Latency), 비용에 대한 엄격한 서비스 수준 목표(SLO, Service Level Objectives)를 충족해야 합니다. 복합 AI 시스템의 SLO 준수를 유지하기 위한 핵심 메커니즘은 각 워크플로우 태스크에 대해 AI 모델을 동적으로 전환하는 런타임 모델 선택(Runtime Model Selection)입니다. 그러나 기존의 분산 및 복합 AI 프레임워크는 런타임 모델 선택을 기본적으로 지원하지 않습니다. 우리는 복합 AI 시스템을 위한 런타임 모델 선택을 가능하게 하는 프레임워크인 PLAIground를 제시합니다. PLAIground는 태스크 및 데이터 계약(Task and Data Contracts)을 통해 태스크 의미론(Task Semantics)과 AI 모델 구현을 분리하는 복합 가능 AI 모델(CAIM, Compoundable AI Model) 추상화를 도입하여, 워크플로우 변경 없이 모델 전환을 가능하게 합니다. 또한, PLAIground는 실행 중에 각 태스크에 가장 적합한 모델을 동적으로 선택하는 SLO 기반 런타임 모델 선택 알고리즘인 Pixie를 도입합니다. 두 가지 실제적인 복합 AI 워크플로우에 대한 평가 결과, Pixie는 고정 모델 전략이 비용 및 지연 시간 예산을 최대 21배까지 위반하거나 정확도 목표를 4% 놓치는 상황에서도, SLO 준수를 유지하며 최대 91.3%의 정확도를 달성함을 입증했습니다.