요약

SSD에서 VRAM으로 모델을 직접 로드하는 기술을 통해 기존 로더 대비 최대 10배 빠른 속도를 구현했습니다. 이를 통해 단일 GPU에서 수백 개의 대규모 모델을 실행하며 2초 미만의 콜드 스타트를 달성합니다.

핵심 포인트

• SSD에서 VRAM으로의 직접 로딩으로 속도 10배 향상
• 단일 GPU 환경에서 수백 개의 대규모 모델 실행 가능
• 2초 미만의 매우 빠른 콜드 스타트 구현