UMLoad: 통합 메모리 아키텍처에서의 빠른 온디맨드 모델 로딩

요약

본 논문은 통합 메모리 아키텍처(UMA) 환경에서 온디맨드 모델 로딩의 비효율성을 해결하기 위한 시스템 수준 가속기 UMLoad를 제안합니다. UMLoad는 논리적 할당과 물리적 백킹을 분리하고, 복사 독립성 및 GPU 지원 페이지 초기화를 활용하여 성능을 극대화했습니다. 테스트 결과, 기존 방식 대비 로딩 시간과 LLM 라우팅 시간을 크게 단축하는 것이 입증되었습니다.

핵심 포인트

• UMLoad는 UMA 환경에서 모델 로딩의 비효율성을 해결하는 시스템 가속기입니다.
• 온디맨드 재구성 및 GPU 지원 페이지 초기화를 통해 성능을 개선했습니다.
• 일반 방식 대비 평균 로딩 시간을 36.6%-71.9% 줄였습니다.
• LLM 라우팅 시간(TTFT)을 최대 59.3%까지 감소시켰습니다.