맥락 기반 프롬프팅이 절차적 작업에 있어 에이전트 오케스트레이션을 대체한다

에이전트 오케스트레이션 프레임워크 (LangGraph, CrewAI, Google ADK, OpenAI Agents SDK 등) 는 LLM 위에 외부 오케스트레이터를 배치하여 상태를 추적하고 각 턴마다 라우팅 지시를 주입합니다. 우리는 절차적 작업 (procedural tasks) 에 있어 이 아키텍처가 더 간단한 대안인 '전체 절차를 시스템 프롬프트에 포함시키고 모델이 자체적으로 오케스트레이트하게 하는 방식'에 의해 압도됨을 보여주는 통제된 비교를 제시합니다. 여행 예약 (14 개 노드), Zoom 기술 지원 (14 개 노드), 보험 청구 처리 (55 개 노드) 라는 세 가지 도메인에서, 각 조건당 200 회의 대화를 평가하며 LLM-as-judge 점수를 사용하여 다섯 가지 품질 기준에 대해 분석했습니다. 맥락 기반 접근법은 5 점 척도에서 4.535.00 의 점수를 얻은 반면, 동일한 모델을 사용한 LangGraph 오케스트레이터는 4.174.84 의 점수를 얻었습니다. 오케스트레이션된 시스템은 여행 대화의 24%, Zoom 대화의 9%, 보험 청구 대화의 17% 에서 실패한 데 비해, 맥락 기반 베이스라인은 각각 11.5%, 0.5%, 5% 만 실패했습니다. 외부 오케스트레이션이 이전 모델에서는 필요했을지라도, 프론티어 모델 (frontier models) 의 능력 향상이 정의된 절차를 따르는 다턴 대화에 있어 이를 불필요하게 만들었습니다.