선제적 에이전트 오케스트레이션 (Proactive Agentic Orchestration)

에이전트 오케스트레이션(Agentic orchestration)은 독립적인 컨텍스트를 가진 서브-에이전트에게 작업을 위임하여, 대규모 언어 모델(LLM) 에이전트의 효과적인 실행 지평을 확장하는 핵심 경로를 제공합니다. 하지만 기존의 오케스트레이션 방법들은 두 가지 한계에 직면해 있습니다. 첫째, 실행 측면에서 현재 방법들은 서브-에이전트의 목표와 하네스(harnesses)를 생성 시점에 고정하여 동적인 실제 환경에 대한 적응성을 제한합니다. 둘째, 최적화 측면에서 희소하고 지연된 피드백은 오케스트레이션 정책의 효과적인 학습을 제약합니다. 이러한 한계들을 해결하기 위해, 우리는 온-더-플라이(on-the-fly) 선제적 에이전트 오케스트레이션 프레임워크인 POrchestra를 소개합니다. 이는 서브-에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터에게 능동적으로 통신하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브-에이전트가 동적인 환경에 원활하게 적응하도록 할 뿐만 아니라, 회고(hindsight) 피드백을 기반으로 하는 On-Policy Orchestration Distillation (OPOD)을 자연스럽게 고안합니다. OPOD는 서브-에이전트의 선제적 수정 요청을 이전 오케스트레이션 결정에 연결하여 목표화된 개선 신호를 도출하고, 이 신호들을 최종 보상과 함께 프로세스 감독(process supervision)으로 활용하여 오케스트레이션 정책을 최적화합니다. 우리는 깊은 연구, 동적인 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 지평 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 베이스라인 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 베이스라인 대비 스몰-오케스트레이터(small-orchestrator)의 성공률을 평균 10.0% 향상시켰습니다. POrchestra는 또한 더 유리한 비용-성능 트레이드오프를 달성합니다. 우리의 코드는 https://github.com/XueyangFeng/POrchestra에서 공개적으로 이용 가능합니다.