PROTEA: 멀티 에이전트 LLM 워크플로우를 위한 오프라인 평가 및 반복적 개선

멀티 에이전트 LLM 워크플로우(Multi-agent LLM workflows) — 역할이 특화된 여러 개의 LLM 호출로 구성된 시스템 — 는 종종 단일 프롬프트(single-prompt) 베이스라인보다 뛰어난 성능을 보이지만, 디버깅(debug)과 개선(refine)이 여전히 어렵습니다. 실패는 중간 출력물(intermediate outputs)의 미세한 오류에서 비롯되어 하위 노드(downstream nodes)로 전파될 수 있으며, 이로 인해 개발자는 긴 추적(traces)을 조사하고 어떤 에이전트를 수정해야 할지 추론해야 합니다. 우리는 멀티 에이전트 워크플로우의 오프라인, 테스트 주도형 개선을 위한 통합 인터페이스인 PROTEA를 제시합니다. PROTEA는 워크플로우를 실행하고, 설정 가능한 루브릭(rubrics)을 사용하여 중간 노드 출력의 점수를 매기며, 워크플로우 그래프(workflow graph) 위에 노드별 상태와 근거(rationales)를 겹쳐 보여줌으로써 발생 가능한 병목 지점(bottlenecks)을 국소화(localize)합니다. 최종 답변 참조(final-answer references)가 주요 감독(supervision) 수단인 복잡한 시스템을 지원하기 위해, PROTEA는 역방향 노드 평가(backward node evaluation)를 수행합니다. 즉, 최종 답변 참조와 그래프 컨텍스트(graph context)로부터 후보 노드 수준의 기대치(expectations)를 생성한 다음, 이를 관찰된 노드 출력과 비교합니다. 선택된 노드에 대해 PROTEA는 편집 가능한 전/후 비교(before/after comparisons) 형식으로 타겟팅된 프롬프트 수정안(prompt revisions)을 제시하며, 이후 워크플로우를 자동으로 재실행 및 재평가하여 동일한 인터페이스 내에서 출력 변화와 점수 궤적(score trajectories)을 보여줍니다. 두 가지 프로덕션 인접 워크플로우(production-adjacent workflows)에서 PROTEA는 문서 검사 정확도를 64.3%에서 83.9%로, 추천 Hit@5를 0.30에서 0.38로 향상시켰습니다. 6명의 숙련된 LLM 개발자를 대상으로 한 형성 연구(formative study)에서, 참가자들은 그래프 수준의 국소화, 노드별 근거, 그리고 편집 가능한 전/후 프롬프트 수정 기능을 높게 평가했습니다.