클라이언트에서의 효율적이고 VRAM 제약이 있는 xLM 추론

요약

본 논문은 고정확도 대형 언어 모델(LLMs)과 비전 언어 모델(VLMs)을 결합한 xLMs의 효율적이고 VRAM 제약이 있는 클라이언트 추론을 목표로 합니다. 이를 위해, 밀집형 및 MoE LLM 모두에 적용 가능한 새로운 CPU-GPU 하이브리드 스케줄링 기술인 '파이프라인 샤딩(pipelined sharding)'을 제시합니다. 이 기술은 서브 레이어 레벨 모델 샤딩, CPU 오프로딩, 파이프라인 복사-계산 등을 조합하여 TTFT 및 TPS를 최적화하며, 기존의 llama.cpp 구현과 결합하여 클라이언트 xLM 추론 성능을 획기적으로 개선합니다.

핵심 포인트

• xLMs(LLM+VLM)의 효율적인 클라이언트 측 추론이 핵심 목표이며, VRAM 제약 문제를 해결하는 데 중점을 두었습니다.
• 새로운 기술인 '파이프라인 샤딩(pipelined sharding)'을 도입하여 CPU-GPU 하이브리드 스케줄링을 구현했습니다.
• 서브 레이어 레벨 모델 샤딩, CPU 오프로딩, 파이프라인 복사-계산 등의 기법을 조합하여 성능과 메모리 효율성을 극대화합니다.
• 실험 결과, 인터랙티브 사용 시 LLM의 TTFT가 최대 6.7배, TPS가 최대 30배 개선되었으며, VRAM 요구량은 1/10로 감소했습니다.