FlowBot: 이계층 최적화와 텍스트적 기울기를 통한 LLM 워크플로우 유도

요약

FlowBot은 이계층 최적화와 텍스트적 기울기(textual gradients)를 활용하여 LLM 워크플로우를 데이터 기반으로 자동으로 유도하고 최적화하는 새로운 접근법입니다. 기존의 수동 파이프라인 의존성 문제를 해결하며, 상위 루프는 전체 워크플로우 구조를, 하위 루프는 개별 LLM 호출을 각각 최적화합니다. 이 방법을 통해 발견된 워크플로우는 인간 제작 또는 자동 생성 방식의 강력한 베이스라인과 경쟁할 수 있는 성능을 입증했습니다.

핵심 포인트

• LLM 워크플로우 구축은 기존에 사람이 만든 파이프라인이나 프롬프트에 의존하여 배포 시 병목 현상이 발생했다.
• FlowBot은 이계층 최적화(bi-level optimization) 문제를 통해 LLM 워크플로우를 데이터 기반으로 자동 유도한다.
• 상위 루프는 전체 워크플로우의 고수준 구조를, 하위 루프는 개별 LLM 호출을 순차적으로 최적화한다.
• 최적화 과정에서 '텍스트적 기울기'와 계층별 역전파(backpropagation) 개념을 도입하여 모듈식 최적화를 수행한다.