저지연 대규모 언어 모델 추론을 위한 하이브리드 JIT-CUDA 그래프 최적화

대규모 언어 모델 (LLMs) 은 자연어 및 멀티모달 작업 전반에서 강력한 성능을 달성했으나, 상호작용적이고 짧은 시퀀스 설정에서 특히 추론 지연 시간과 커널 실행 오버헤드로 인해 실용적인 배포가 제한받고 있습니다. 본 논문은 자동회귀 디코딩 중 런타임 유연성을 유지하면서 실행 오버헤드를 줄이기 위해 재적시 컴파일 (JIT) 을 CUDA 그래프 실행과 결합한 하이브리드 런타임 프레임워크를 제시합니다. 이 프레임워크는 트랜스포머 추론을 정적 구성 요소와 동적 구성 요소로 분할하여, 정적 구성 요소는 CUDA 그래프 재생을 통해 실행하고 동적 구성 요소는 JIT 컴파일된 커널을 통해 처리함으로써 디코딩 단계 간 비동기 그래프 캡처 및 재사용을 가능하게 합니다. 우리는 단일 GPU 와 배치 크기 1 추론을 사용하여 프롬프트 길이가 10 토큰에서 500 토큰까지인 LLaMA-2 7B 에서 제안된 방법을 평가했습니다. 실험 결과, 하이브리드 런타임은 첫 번째 토큰까지의 시간 (TTFT) 을 최대 66.0% 줄이고, 이 영역에서 TensorRT-LLM 보다 낮은 P99 지연 시간을 달성합니다. 이러한 결과는 하이브리드 JIT-CUDA 그래프 실행이 짧은 시퀀스 LLM 워크로드의 추론 지연 시간과 분산을 효과적으로 줄일 수 있음을 보여주며, 이는 지연 시간에 민감한 AI 애플리케이션을 위한 실용적인 최적화 전략임을 시사합니다.