맥락 기반 프롬프팅이 절차적 작업에 있어 에이전트 오케스트레이션을 대체한다
요약
본 연구는 복잡한 절차적 작업(procedural tasks)을 수행하는 에이전트 시스템에서 외부 오케스트레이션 프레임워크의 필요성에 의문을 제기합니다. 기존에는 LangGraph와 같은 도구가 상태 추적 및 라우팅에 필수적이었으나, 최신 '프론티어 모델'의 발전으로 인해 전체 절차를 단일 시스템 프롬프트에 포함시키고 LLM이 자체적으로 오케스트레이션하게 하는 방식(맥락 기반 접근법)이 더 우수한 성능을 보였습니다. 세 가지 도메인 테스트 결과, 맥락 기반 접근법은 외부 오케스트레이터보다 높은 점수를 받았으며 실패율도 현저히 낮아, 복잡한 다턴 대화에서 LLM 자체의 능력이 외부 프레임워크를 대체하고 있음을 입증했습니다.
핵심 포인트
- 복잡한 절차적 작업(procedural tasks)에 있어 외부 오케스트레이션 프레임워크가 더 이상 필수적이지 않을 수 있다.
- 최신 LLM(프론티어 모델)의 향상된 추론 능력은 다턴 대화에서 자체적인 오케스트레이션을 가능하게 한다.
- 단일 시스템 프롬프트에 전체 절차를 포함시키는 맥락 기반 접근법이 LangGraph와 같은 외부 오케스트레이터보다 높은 성능과 낮은 실패율을 보였다.
- 외부 오케스트레이션은 이전 모델에서는 필요했지만, LLM의 발전으로 인해 그 역할이 축소되고 있다.
에이전트 오케스트레이션 프레임워크 (LangGraph, CrewAI, Google ADK, OpenAI Agents SDK 등) 는 LLM 위에 외부 오케스트레이터를 배치하여 상태를 추적하고 각 턴마다 라우팅 지시를 주입합니다. 우리는 절차적 작업 (procedural tasks) 에 있어 이 아키텍처가 더 간단한 대안인 '전체 절차를 시스템 프롬프트에 포함시키고 모델이 자체적으로 오케스트레이트하게 하는 방식'에 의해 압도됨을 보여주는 통제된 비교를 제시합니다. 여행 예약 (14 개 노드), Zoom 기술 지원 (14 개 노드), 보험 청구 처리 (55 개 노드) 라는 세 가지 도메인에서, 각 조건당 200 회의 대화를 평가하며 LLM-as-judge 점수를 사용하여 다섯 가지 품질 기준에 대해 분석했습니다. 맥락 기반 접근법은 5 점 척도에서 4.535.00 의 점수를 얻은 반면, 동일한 모델을 사용한 LangGraph 오케스트레이터는 4.174.84 의 점수를 얻었습니다. 오케스트레이션된 시스템은 여행 대화의 24%, Zoom 대화의 9%, 보험 청구 대화의 17% 에서 실패한 데 비해, 맥락 기반 베이스라인은 각각 11.5%, 0.5%, 5% 만 실패했습니다. 외부 오케스트레이션이 이전 모델에서는 필요했을지라도, 프론티어 모델 (frontier models) 의 능력 향상이 정의된 절차를 따르는 다턴 대화에 있어 이를 불필요하게 만들었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기