LLM 서빙을 위한 기하학 인지형 온라인 스케줄링: 이론적 경계에서 시스템 실무까지

요약

LLM 추론 시 KV 캐시의 동적 메모리 관리를 위해 기하학적 특성을 고려한 SVF(Smallest Volume First) 스케줄링 알고리즘을 제안합니다. 수학적 증명을 통해 기존 방식보다 개선된 경쟁비를 입증했으며, vLLM에 통합하여 Llama-3.1 모델에서 지연 시간 감소와 처리량 향상을 확인했습니다.

핵심 포인트

• LLM의 2D 시공간적 기하학적 성장을 반영한 새로운 스케줄링 방식 제안
• SVF 알고리즘을 통해 최악의 경우 경쟁비를 48에서 5로 대폭 개선
• 1-bit SVF 변형을 통해 최소한의 정보로 효율적인 추론 성능 달성
• vLLM 플러그인 형태로 구현되어 Llama-3.1 모델에서 실무적 효용성 입증