RidgeFill: 더 빠른 Prefill을 위한 학습 불필요(Training-Free) 후기 레이어 캐시 채우기

요약

RidgeFill은 모델의 상위 레이어 캐시를 별도의 학습 없이 예측하여 prefill 시간을 획기적으로 단축하는 기술입니다. 하위 레이어 상태로부터 리지 회귀(ridge regression) 맵을 피팅하고, 이를 통해 전체 모델 실행 과정 중 일부만 건너뛰면서도 빠른 속도로 초기 토큰 생성을 가능하게 합니다.

핵심 포인트

• 학습이 필요 없는(Training-Free) 방식으로 LLM의 prefill 성능을 개선합니다.
• vLLM 환경에서 최대 1.6배에 달하는 전처리 속도 향상을 입증했습니다.
• Llama-3.1, Qwen 등 다양한 모델 구조에 개조하여 적용 가능합니다.
• 성능 저하가 미미하며, 주요 검색 및 추론 작업의 정확도가 유지됩니다.