대부분의 사람들은 LLM (Large Language Model) 추론 속도가 느리면 더 큰 GPU가 필요하다고 생각합니다.

종종 이는 잘못된 추론 엔진 (inference engine)을 실행하고 있다는 것을 의미합니다. 단순한 서빙 (Naive serving) 방식은 모든 개별 요청에 대해 최악의 경우를 대비한 메모리를 예약하며, 그 가정만으로도 아무것도 처리하기 전에 GPU 메모리의 60~80%를 소모합니다.

vLLM의 PagedAttention은 운영 체제 (OS)가 가상 메모리 (virtual memory)를 위해 사용하는 것과 동일한 개념으로, 고정된 페이지 (pages) 단위로 필요할 때마다 메모리를 할당합니다. 이를 통해 활용률 (utilization)이 약 95%까지 급증합니다.

이 가이드는 단순한 이론에 그치지 않고, 해당 개념에서 시작하여 실제 운영 가능한 OpenAI 호환 서버 구축, 부하 테스트 (load testing), 그리고 실제 모니터링 대시보드 구성까지 직접 다룹니다.