UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic

요약

UniPrefill은 대형 언어 모델(LLMs)의 긴 컨텍스트 처리 추론 효율성을 개선하기 위해 제안된 전역적인 Prefill 가속 프레임워크입니다. 기존 연구들이 희소 어텐션에만 집중되어 있어 다양한 아키텍처나 연속적 배치 환경에서 성능 저하를 겪고 통합이 어려웠던 문제를 해결합니다. UniPrefill은 모든 모델 아키텍처에 적용 가능하며, vLLM과 같은 현대 추론 엔진의 스케줄링 전략을 확장하여 Prefill-Decode 동시 처리 및 텐서 병렬 처리를 지원함으로써 Time-To-First-Token (TTFT)에서 최대 2.1배의 속도 향상을 달성합니다.

핵심 포인트

• UniPrefill은 모든 모델 아키텍처에 적용 가능한 범용적인 Prefill 가속 프레임워크입니다.
• 기존의 가속화 기법들은 희소 어텐션에 국한되거나 연속적 배치(continuous batching)와 호환되지 않는 한계가 있었습니다.
• UniPrefill은 vLLM과 같은 현대 추론 엔진에 원활하게 통합되어 Prefill-Decode 동시 처리 및 텐서 병렬 처리를 지원합니다.
• 실험 결과, UniPrefill은 Time-To-First-Token (TTFT)에서 최대 2.1배의 속도 향상을 보여줍니다.