PLAIground: Edge-Cloud-Space 연속체 내 복합 AI 시스템을 위한 SLO 기반 런타임 모델 선택

Edge, Cloud, Space를 통합하는 3D 컴퓨팅 연속체(3D Computing Continuum)에서의 애플리케이션은 객체 탐지(Object Detection), 시계열 분석(Time-series Analytics), 자연어 처리(Natural Language Processing)와 같은 여러 AI 태스크를 복합 AI 시스템(Compound AI systems)으로 결합할 것을 요구합니다. 이러한 시스템은 정확도, 지연 시간(Latency), 비용에 대한 엄격한 서비스 수준 목표(SLO, Service Level Objectives)를 충족해야 합니다. 복합 AI 시스템의 SLO 준수를 유지하기 위한 핵심 메커니즘은 각 워크플로우 태스크에 대해 AI 모델을 동적으로 전환하는 런타임 모델 선택(Runtime Model Selection)입니다. 그러나 기존의 분산 및 복합 AI 프레임워크는 런타임 모델 선택을 기본적으로 지원하지 않습니다. 우리는 복합 AI 시스템을 위한 런타임 모델 선택을 가능하게 하는 프레임워크인 PLAIground를 제시합니다. PLAIground는 태스크 및 데이터 계약(Task and Data Contracts)을 통해 태스크 의미론(Task Semantics)과 AI 모델 구현을 분리하는 복합 가능 AI 모델(CAIM, Compoundable AI Model) 추상화를 도입하여, 워크플로우 변경 없이 모델 전환을 가능하게 합니다. 또한, PLAIground는 실행 중에 각 태스크에 가장 적합한 모델을 동적으로 선택하는 SLO 기반 런타임 모델 선택 알고리즘인 Pixie를 도입합니다. 두 가지 실제적인 복합 AI 워크플로우에 대한 평가 결과, Pixie는 고정 모델 전략이 비용 및 지연 시간 예산을 최대 21배까지 위반하거나 정확도 목표를 4% 놓치는 상황에서도, SLO 준수를 유지하며 최대 91.3%의 정확도를 달성함을 입증했습니다.