FlowCompile: 구조화된 LLM 워크플로우를 위한 최적화 컴파일러

특화된 LLM 서브 에이전트(sub-agents)가 사전 정의된 그래프에 따라 실행되는 구조화된 LLM 워크플로우(Structured LLM workflows)는 복잡한 작업을 해결하기 위한 강력한 추상화 도구가 되었습니다. 이러한 워크플로우를 최적화하는 것, 즉 정확도(accuracy)와 지연 시간(latency)의 균형을 맞추기 위해 각 서브 에이전트의 구성을 선택하는 것은 모델 선택, 추론 예산(reasoning budgets), 그리고 워크플로우 구조에 따른 조합론적 설계 공간(combinatorial design space)으로 인해 매우 어렵습니다. 기존의 비용 인식(cost-aware) 방법들은 워크플로우 최적화를 주로 라우팅(routing) 문제로 취급하여, 훈련 중에 사용된 정확도-지연 시간 목표에 따라 추론 시점에 각 쿼리에 대한 구성을 선택합니다. 우리는 구조화된 LLM 워크플로우가 컴파일(compilation) 관점에서도 최적화될 수 있다고 주장합니다. 즉, 배포 전에 시스템이 워크플로우 설계 공간을 전역적으로 탐색하고, 다양한 정확도-지연 시간 트레이드오프(trade-offs)를 아우르는 재사용 가능한 워크플로우 수준 구성 세트를 구축할 수 있습니다. 머신러닝 컴파일러(machine learning compilers)에서 영감을 얻어, 우리는 고품질의 재사용 가능한 트레이드오프 세트를 식별하기 위해 컴파일 타임 설계 공간 탐색(compile-time design space exploration)을 수행하는 구조화된 LLM 워크플로우 컴파일러인 FlowCompile을 소개합니다. FlowCompile은 워크플로우를 서브 에이전트로 분해하고, 다양한 구성 하에서 각 서브 에이전트를 프로파일링(profile)하며, 구조 인식 프록시(structure-aware proxy)를 통해 이러한 측정값을 결합하여 워크플로우 수준의 정확도와 지연 시간을 추정합니다. 그런 다음 재훈련(retraining)이나 온라인 적응(online adaptation) 없이 단 한 번의 컴파일 타임 패스(compile-time pass)를 통해 다양한 고품질 구성을 식별합니다. 다양한 워크플로우와 까다로운 벤치마크를 통한 실험 결과, FlowCompile은 휴리스틱(heuristically)으로 최적화된 워크플로우 구성 및 라우팅 기반 베이스라인(baselines)보다 일관되게 우수한 성능을 보였으며, 최대 6.4배의 속도 향상을 달성했습니다. 컴파일된 구성 세트는 재사용 가능한 최적화 산출물(optimization artifact)로서 역할을 하여, 다양한 런타임 선호도에 따른 유연한 배포를 가능하게 하고 다운스트림(downstream) 선택 또는 라우팅을 지원합니다.