다른 에이전트들을 조정할 때 가장 강력한 모델을 선택해야 할까요? WorkflowArena 결과 [R]

에이전트 팀을 구성한다고 가정해 봅시다. 가장 강력한 모델을 코디네이터(coordinator)로 선택하는 것이 합리적으로 보입니다. 저희는 그 워크플로우가 실제로 다른 모델들이 작업을 수행하는 데 도움이 될지 테스트하고 싶었습니다. 한 실험에서, 저희는 Opus 5.5와 GPT-6 Astra에게 동일한 32개의 어려운 과제를 주고 네 가지 실행 모델을 위한 워크플로우를 작성하도록 요청했습니다. 이들은 업무를 분배하고 작업자들에게 지시할 수는 있었지만, 워크스페이스 자체를 편집할 수는 없었습니다. Opus의 정적(static) 워크플로우는 네 명의 실행자 모두에게 평균 6.41점의 점수를 추가하여 연속 점수(continuous scores)를 향상시켰습니다. 반면, Astra의 정적 워크플로우는 Astra가 메인 벤치마크에서 네 명의 실행자보다 더 강력한 시스템임에도 불구하고 평균을 2.53점 낮추었습니다. 따라서 단순히 모델 자체의 과제 수행 능력만을 기준으로 코디네이터를 선택하는 것은 중요한 것을 놓칠 수 있습니다. 즉, 그 모델이 업무를 조직화하는 방식 자체가 작업을 수행하는 모델들에게 유용한지 여부입니다.

이는 Einsia에서 개발한 저희 팀의 새로운 벤치마크인 WorkflowArena의 일부입니다. 이 벤치마크는 8개 도메리에 걸쳐 145개의 장기 지평(long-horizon) 과제를 다룹니다. 에이전트들은 스스로 업무 분배를 선택하며, 저희는 위임된 내용을 기록하고 최종 결과물이 과제의 요구 사항을 충족하는지 확인합니다.

혼합 모델 팀을 구축하는 모든 분들에게 오늘날 어떻게 그 선택을 평가하시는지 궁금합니다. 코디네이터를 별도로 테스트하십니까, 아니면 주로 전체 시스템의 최종 출력물로 판단하십니까?

프로젝트 및 워크플로우 재생(replays): https://lab.einsia.ai/workflowarena/home.html
논문: https://arxiv.org/abs/2611.12856
코드: https://github.com/Einsia/WorkflowArena
제출자 /u/OliviaYii [link] [comments]