OpenCollab: 프로그래밍 가능한 협업과 제어 가능한 런타임을 갖춘 다중 에이전트 코딩 프레임워크
요약
OpenCollab은 프로그래밍 가능한 협업과 제어 가능한 런타임을 제공하는 다중 에이전트 코딩 프레임워크입니다. 이 프레임워크는 조직 설계를 통합하고, 공유 런타임에 대한 실험적 통제를 강제하며, 세밀한 이벤트 스트림을 통해 실행을 추적합니다. 이를 통해 'Adherence'라는 새로운 지표를 정의하여 에이전트 협업의 실제 구현 정도를 정량화할 수 있습니다.
핵심 포인트
- OpenCollab은 프로그래밍 가능한 협업과 제어된 런타임을 제공하는 다중 에이전트 코딩 프레임워크입니다.
- 새로운 'Adherence' 지표는 조직 설계가 실제로 얼마나 잘 구현되는지 정량적으로 측정합니다.
- OpenCollab 기반 워크플로우는 기존 주류 하네스 대비 SOTA 성능을 달성했습니다.
- 단일 에이전트 구성은 평가된 모든 스위트에서 가장 적은 토큰 사용량을 보였습니다.
다중 에이전트 코딩 시스템은 협업을 통해 복잡한 소프트웨어 엔지니어링 작업을 해결하도록 설계되었습니다. 하지만 기존의 평가는 일반적으로 구성된 조직이 충실하게 따르는 것을 가정하며, 실제 현실과는 차이가 있습니다. 이러한 행동적 격차는 근본적인 시스템 구성 요소의 차이와 결합하여 관찰된 이득을 명확히 귀속시키기 어렵게 만듭니다. 이를 위해 우리는 프로그래밍 가능한 협업과 제어 가능한 런타임을 위한 통합 인프라를 제공하는 다중 에이전트 코딩 프레임워크인 OpenCollab을 소개합니다. 구체적으로, OpenCollab은 조직 설계(organization design)를 통합하고, 공유 런타임에 대한 실험적 통제를 강제하며, 세밀한 이벤트 스트림을 통해 실행을 추적합니다. 이를 기반으로 우리는 선언된 조직이 실제로 실현되는지 정량화하는 'Adherence'라는 지표를 정의했습니다. 우리의 실험은 에이전트들이 구성(configuration)에 따라 매우 다르게 협업한다는 것을 보여줍니다: 단 하나의 차원만 변경해도 Adherence가 47.2%에서 최대 97.2%까지 변동합니다. 더욱이, 광범위한 에이전트 코딩 벤치마크는 OpenCollab을 기반으로 구축된 두 명의 코더 워크플로우가 Mini-SWE-agent, Codex CLI, Claude Code와 같은 주류 하네스(harnesses) 대비 새로운 SOTA 성능을 달성함을 보여주었으며, 이는 잘 설계된 조직이 강력한 기존 하네스를 능가할 수 있음을 시사합니다. 한편 OpenCollab의 단일 에이전트 구성은 평가된 모든 스위트에서 가장 적은 토큰을 사용했습니다. OpenCollab은 쉬운 프로그래밍 가능한 협업과 제어된 인과적 평가를 위한 통합 다중 에이전트 인프라를 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기