PFlash: RTX 3090에서 128K 프리필 속도 llama.cpp 대비 10배 향상

요약

PFlash는 양자화된 27B 모델의 장문맥 디코드를 위한 혁신적인 추론적 프리필(Inferential Prefill) 기법을 소개합니다. 이 기술은 전체 프롬프트에서 토큰 중요도를 평가하여, 무거운 타겟 모델이 중요한 구간만 집중적으로 처리함으로써 기존 llama.cpp 대비 10배에 달하는 속도 향상을 보여줍니다. C++/CUDA만을 사용하여 구현되었으며, 특히 긴 컨텍스트(예: 128K)에서의 초기 응답 시간(TTFT)을 크게 개선합니다.

핵심 포인트

• PFlash는 장문맥 디코드를 위해 토큰 중요도를 평가하는 추론적 프리필 기법을 사용합니다.
• 이 기술은 전체 프롬프트 처리 대신 중요한 구간만 타겟 모델로 처리하여 효율성을 극대화합니다.
• RTX 3090 환경에서 Qwen3.6-27B 모델의 128K 컨텍스트 프리필 속도를 기존 llama.cpp 대비 약 10배 향상시킵니다.
• 구현은 C++/CUDA만을 사용하며, Python이나 PyTorch 같은 고수준 라이브러리 의존성을 제거하여 성능과 효율성을 높였습니다.