LLM 대규모 추론을 위한 오픈 핸드북 (GPU 내부 구조, KV 캐시, 배치 처리, vLLM/SGLang/TensorRT-LLM)

요약

LLM 대규모 추론의 내부 구조와 최적화 방법을 다루는 오픈 소스 핸드북을 소개합니다. GPU 실행 구조, 메모리 계층, KV 캐시, 배치 처리 등 병목 현상의 원인과 해결책을 상세히 설명합니다.

핵심 포인트

• GPU 유휴 상태 및 메모리 계층 구조가 처리량에 미치는 영향 분석
• vLLM, SGLang, TensorRT-LLM 등 주요 추론 엔진 관련 내용 포함
• 아키텍처 이해를 돕기 위한 Mermaid 다이어그램 활용
• 오픈 소스 프로젝트로서 커뮤니티의 피드백과 기여를 환영