Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
NELSSA는 GPU와 PNM(Processing-near-Memory)을 통합하여 혼합 길이 LLM 워크로드를 효율적으로 처리하는 시스템을 제안합니다. 요청 길이에 따라 GPU와 PNM으로 라우팅하고 런타임 마이그레이션을 통해 동적 컨텍스트 성장에 대응합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현대의 LLM (Large Language Models) 및 에이전트 기반 애플리케이션은 수백 토큰에서 수십만 토큰에 이르는 컨텍스트 길이(context lengths)를 아우르며 서빙 워크로드의 범위를 넓히고 있습니다. 이러한 요청들은 동일한 서빙 윈도우(serving window) 내에서 빈번하게 뒤섞이기 때문에, LLM 서빙 시스템은 매우 이기종적인 혼합 길이(mixed-length) 워크로드를 처리해야 합니다. 이러한 혼합 길이 워크로드는 대규모의 메모리 제약이 있는 배치(batch)에 따라 처리량(throughput)이 결정되는 GPU 중심 서빙 아키텍처의 근본적인 비효율성을 드러냅니다. 본 논문에서는 혼합 길이 워크로드를 효율적으로 지원하기 위해 GPU와 실제 Processing-near-Memory (PNM) 가속 장치를 통합한 LLM 서빙 시스템인 NELSSA를 제안합니다. NELSSA는 길이 기반 요청 배치(length-based request placement)를 채택하여 짧은 컨텍스트 요청은 GPU로, 긴 컨텍스트 요청은 PNM 계층으로 라우팅하며, 재계산 없이 동적인 컨텍스트 성장에 대응하기 위해 런타임 마이그레이션(runtime migration)을 포함합니다. 우리는 NELSSA를 엔드 투 엔드(end-to-end) 시스템으로 프로토타이핑하였으며, PNM 상의 장치 수준 희소 어텐션(sparse attention), GPU 디코드 커널(decode kernels), 그리고 RPC 및 RDMA를 지원하는 CXL 기반 인프라 상에서 스케줄링과 계층 간 메모리 이동을 조율하는 호스트 측 런타임을 구현했습니다. 혼합 길이 LLM 워크로드 전반에 걸쳐, NELSSA는 GPU 전용 베이스라인과 비교했을 때 디코드 처리량(decode throughput)을 토큰/초(tokens/sec) 단위로 최대 5.5배 향상시켰으며, P99 지연 시간(latency)을 최대 15배까지 줄였습니다. 우리의 엔드 투 엔드 프로토타입과 실험 결과는 CXL 기반 분리(disaggregation)를 통해 가능해진 통합 GPU-PNM 서빙이 진화하는 워크로드를 지원하는 확장 가능하고 유연한 LLM 인프라를 위한 유망한 시스템 패러다임임을 시사합니다.