단일 8×A100 노드에서 Llama 3.1 405B + 7개의 Hot LoRA 실행 (vLLM / AWQ-int4 / Marlin)

요약

단일 8x A100 노드에서 Llama 3.1 405B 모델과 7개의 LoRA 어댑터를 vLLM을 통해 실시간(Hot)으로 서빙하는 최적화 사례를 소개합니다. AWQ-int4 양자화와 Marlin 커널을 활용하여 어댑터 전환 시간을 최소화하고 처리량을 극대화했습니다.

핵심 포인트

• vLLM 멀티-LoRA를 통해 7개의 어댑터를 VRAM에 상주시켜 전환 시간 170ms 미만 달성
• AWQ-int4 양자화 적용으로 405B 모델 서빙 시에도 약 150GB의 VRAM 여유 공간 확보
• 기존 콜드 로드 방식 대비 처리량(throughput)을 5~7배 향상
• 단일 노드 구성을 통해 멀티 노드 클러스터 대비 비용 절감 및 프라이빗 환경 구축