멀티 모델 LLM 스케줄러를 향하여: 오프로딩(Offloading) 및 선점(Preemption)에 관한 실증적 통찰

요약

본 논문은 이기종 하드웨어 환경에서 여러 LLM을 동시에 서비스할 때 발생하는 오프로딩(Offloading) 및 선점(Preemption)의 성능 영향을 실증적으로 분석합니다. 연구 결과, 오프로딩은 모델 크기에 따라 디코드 처리량에 비선형적인 저하를 일으키며, 선점 시 발생하는 오버헤드는 KV 캐시 전송보다 모델 상태 재로드에 의해 주로 결정됨을 밝혀냈습니다.

핵심 포인트

• 오프로딩은 디코드 처리량에 비선형적인 저하를 초래하며, 특히 작은 모델일수록 GPU 상주 시간 감소에 더 민감하게 반응함
• 선점(Preemption) 오버헤드의 주된 원인은 KV 캐시 전송이 아닌 모델 상태의 재로드(Model state reload)임
• 시퀀스 길이와 상호 연결 대역폭(Interconnect bandwidth)이 데이터 이동 및 실행 비효율성을 증폭시키는 핵심 요소임
• 효율적인 차세대 LLM 스케줄러 설계를 위해 모델별 오프로딩 민감도와 선점 비용 구조를 반드시 고려해야 함