FaaSMoE: 다중 테넌트 혼합 전문가 모델 제공을 위한 서버리스 프레임워크

요약

FaaSMoE는 함수-as-a-Service(FaaS) 플랫폼을 활용하여 혼합 전문가(MoE) 모델을 다중 테넌트 환경에서 제공하는 새로운 아키텍처입니다. 이 프레임워크는 MoE의 제어 및 실행 평면을 분리하고, 각 전문가를 상태가 없는 FaaS 함수로 배포함으로써 온디맨드 호출과 스케일-투-제로(scale-to-zero) 기능을 구현합니다. 그 결과, 기존 방식 대비 리소스를 획기적으로 절감하면서도 다중 테넌트 환경에서 확장 가능하고 효율적인 MoE 서비스를 제공할 수 있음을 입증했습니다.

핵심 포인트

• MoE 모델의 배포 시 발생하는 메모리 비효율성 문제를 해결하기 위해 FaaS 기반 아키텍처를 제안함.
• FaaSMoE는 전문가(Expert)를 상태가 없는 FaaS 함수로 분리하여, MoE의 실행 및 제어 평면을 효과적으로 분리합니다.
• 다중 테넌트 환경에서 온디맨드 호출과 스케일-투-제로 기능을 지원하여 리소스 효율성을 극대화합니다.
• 실제 프로토타입 구현 및 평가 결과, 기존 모델 대비 3분의 1 미만의 리소스로 MoE를 제공할 수 있음을 입증했습니다.