FlowCompile: 구조화된 LLM 워크플로우를 위한 최적화 컴파일러

요약

FlowCompile은 구조화된 LLM 워크플로우의 최적화를 위한 새로운 컴파일러입니다. 이 시스템은 머신러닝 컴파일러에서 영감을 받아, 배포 전에 전체 워크플로우 설계 공간을 전역적으로 탐색하여 다양한 정확도-지연 시간 트레이드오프를 아우르는 재사용 가능한 구성 세트를 구축합니다. FlowCompile은 각 서브 에이전트의 프로파일링과 구조 인식 프록시를 결합하여 단 한 번의 컴파일 타임 패스를 통해 워크플로우 수준의 성능을 예측하며, 기존 방법보다 우수한 속도 향상을 입증했습니다.

핵심 포인트

• FlowCompile은 LLM 워크플로우 최적화를 라우팅 문제에서 컴파일 관점으로 접근합니다.
• 컴파일러는 배포 전 전체 설계 공간을 탐색하여 재사용 가능한 다양한 성능 트레이드오프 세트를 생성합니다.
• 서브 에이전트 프로파일링과 구조 인식 프록시를 결합하여 워크플로우 수준의 정확도와 지연 시간을 예측합니다.
• 단 한 번의 컴파일 타임 패스를 통해 여러 고품질 구성을 식별하며, 최대 6.4배의 속도 향상을 달성했습니다.