추론(Inference)은 머신러닝(Machine Learning)이 시스템 엔지니어링(Systems Engineering)과 만나는 지점입니다. LLM 추론 엔진은 정적인 가중치(Weights)를 스트리밍 토큰(Streaming Tokens)으로 변환하는 런타임(Runtime)이며, 엄격한 지연 시간(Latency) 제약 조건 하에서 메모리(Memory), 스케줄링(Scheduling), 병렬성(Parallelism)을 처리합니다. 학습(Training)이 연구의 대부분을 차지하지만, 추론은 실제 서비스의 병목 구간(Bottleneck)입니다. 이곳은 하드웨어 비용, 지연 시간 예산, 그리고 사용자 경험이 충돌하는 지점입니다.

LLM 추론 엔진이란 무엇인가

추론 엔진은 단순히 체크포인트(Checkpoint) 파일이 아닙니다. 이는 모델 실행기(Model Executor), 메모리 관리자(Memory Manager), 요청 스케줄러(Request Scheduler), 그리고 최적화된 GPU 커널(Kernels)로 구성된 풀스택 서빙 시스템(Full-stack Serving System)입니다. 주요 목표는 첫 번째 토큰 생성 시간(Time-to-First-Token, TTFT)과 토큰 간 지연 시간(Inter-token Latency, ITL)을 제한된 범위 내로 유지하면서 처리량(Throughput)을 극대화하는 것입니다. vLLM, TensorRT-LLM, llama.cpp와 같은 오픈 소스 엔진들은 이식성(Portability), 메모리 효율성(Memory Efficiency), 그리고 순수 속도(Raw Speed) 사이에서 각각 서로 다른 트레이드오프(Tradeoffs)를 제공합니다.

추론 라이프사이클(Inference Lifecycle)

모든 요청은 두 가지 뚜렷한 단계를 거칩니다. 프리필(Prefill) 단계는 각 트랜스포머(Transformer) 레이어에 대한 키(Key) 및 값(Value) 텐서(Tensors)를 계산하기 위해 전체 입력 프롬프트(Prompt)를 병렬로 처리합니다. 이 과정에서 KV 캐시(KV Cache)가 채워지고 첫 번째 출력 토큰이 생성됩니다. 그 다음 디코드(Decode) 단계는 자기회귀(Autoregressive) 루프에 진입하여, 새로운 KV 항목을 캐시 메모리에 추가하면서 한 번에 하나의 토큰을 생성합니다.

KV 캐시는 긴 컨텍스트(Long-context) 워크로드 동안 지배적인 메모리 소비 요인입니다. 128K 컨텍스트 윈도우(Context Window)를 서비스하는 단일 70B 파라미터(Parameter) 모델은 수백 기가바이트의 캐시 상태를 필요로 할 수 있습니다. 엔진들은 양자화(Quantization), 압축(Compression), 그리고 제거 정책(Eviction Policies)을 통해 이를 관리합니다.

배칭(Batching) 전략은 GPU 활용도(Utilization)에 직접적인 영향을 미칩니다. 정적 배칭(Static Batching)은 배치 내의 모든 시퀀스(Sequences)가 가장 긴 시퀀스가 끝날 때까지 기다리도록 강제합니다. Orca에 의해 대중화되고 vLLM과 같은 엔진에 구현된 연속 배칭(Continuous Batching)은 기존 요청이 디코드 단계를 완료하자마자 새로운 요청이 활성 GPU 슬롯에 진입할 수 있도록 허용합니다.

메모리 및 처리량 최적화

현대적인 엔진들은 운영 체제(Operating Systems)의 할당 기술을 차용합니다. PagedAttention은 KV 캐시(KV cache)를 고정된 크기의 블록으로 파편화하고 필요에 따라 이를 할당함으로써, 예약되었으나 사용되지 않는 컨텍스트 윈도우(context windows)로 인한 낭비를 제거합니다. 이를 통해 가변적인 프롬프트 길이(prompt lengths)를 가진 실제 트래픽 환경에서 더 높은 GPU 활용도(GPU utilization)를 달성할 수 있습니다.

양자화(Quantization)는 가중치(weights)와 활성화(activations)의 정밀도를 FP16에서 INT8 또는 INT4로 낮춥니다. 이는 모델 크기를 줄이고 유효 배치 크기(effective batch size)를 증가시키지만, 추론 품질(reasoning quality)을 유지하기 위해서는 세심한 보정(calibration)이 필요합니다. 텐서 병렬성(Tensor parallelism)과 파이프라인