JointServe: 메모리 제약 GPU에서 다중 모델 에이전트 서비스하기

요약

JointServe는 메모리 제약 GPU 환경에서 여러 전문가 모델을 오케스트레이션하는 에이전트 서비스를 위한 새로운 시스템입니다. 이 시스템은 가중치 조각과 KV 블록을 통합된 메모리 예산으로 관리하며, 세 가지 구조적 속성을 활용하여 모델 호출 전 준비를 최적화합니다. 그 결과, 기존 방식 대비 세션 완료 시간을 크게 단축시키고 안정성을 높였습니다.

핵심 포인트

• 메모리 제약 환경에서 다중 에이전트 서비스의 한계를 극복하는 시스템 제시
• 가중치 조각과 KV 블록을 통합 메모리로 관리하여 효율성 증대
• 세션 상태 유지를 위한 부분 k* 거주 및 선제적 전송 스케줄러 도입
• 기존 전체 모델 스와프 방식 대비 세션 완료 시간 21.7% 단축