복합 AI 시스템의 확장 가능한 추론 아키텍처: 프로덕션 배포 연구

요약

본 논문은 복잡하고 다양한 작업을 수행하는 복합 AI 시스템(compound AI systems)을 프로덕션 환경에 효율적으로 배포하기 위한 모듈형 추론 아키텍처를 제시합니다. 이 아키텍처는 서버리스 실행, 동적 자동 확장 및 MLOps 파이프라인을 통합하여 다중 구성 요소 에이전트 워크플로우 전반에 걸쳐 낮은 지연 시간과 높은 처리량을 유지합니다. 연구 결과, 기존 방식 대비 꼬리 지연 시간을 크게 줄이고 처리량은 높이며 비용 효율성을 개선하는 등 실질적인 운영상의 이점을 입증했습니다.

핵심 포인트

• 복합 AI 시스템 배포를 위한 모듈형 및 플랫폼 독립적 추론 아키텍처 제시
• 서버리스 실행, 동적 자동 확장, MLOps 통합을 통해 일관된 저지연성 확보
• 다중 모델 팬아웃 오버헤드와 콜드 스타트 전파 등 복합 시스템 특유의 과제 해결 방안 제시
• 실제 프로덕션 환경에서 꼬리 지연 시간(P95) 감소, 처리량 증가, 비용 절감 등의 정량적 성과 입증