Flide: 정확한 상태 포킹을 통한 의사 추론 가속화

요약

Flide는 의사 결정 모델(Decision models)을 위한 새로운 추론 엔진입니다. 기존 엔진의 오버헤드 문제를 해결하기 위해, Flide는 요청의 논리적 트리 구조와 물리적 실행을 분리하여 설계되었습니다. 이는 GPU 상주 인덱스를 활용해 정확한 상태 포킹 기반으로 의사 결정 과정을 가속화하며, 에이전트 시스템에 필수적인 확장성과 낮은 지연 시간을 제공합니다.

핵심 포인트

• Flide는 논리적 트리 구조와 물리적 실행을 분리하는 효율적인 추론 엔진입니다.
• ForkAttention을 통해 GPU 상주 인덱스로 요청 의존성을 정확하게 탐색합니다.
• vLLM 및 SGLang 대비 최대 9.5배 빠른 응답 속도를 달성했습니다.
• 물리적 처리량과 수학적 정확성(total variation distance)을 모두 확보했습니다.