OpenRE-Bench: 마이닝된 GitHub 이슈를 활용한 다중 에이전트 요구사항 공학(RE) 벤치마크 하네스

OpenRE-Bench는 대규모 언어 모델(LLM) 기반의 다중 에이전트 요구사항 공학(Requirements Engineering, RE) 프레임워크를 위한 오픈 소스 벤치마킹 인프라입니다. 이러한 프레임워크들은 점점 더 흔해지고 있지만, 서로 다른 에이전트 역할, 협상 정책, 출력 형태를 사용하며, 일반적으로 자체적인 실행 환경, 메트릭 및 소규모의 선별된 시스템 설명 세트를 기반으로 평가됩니다. 이는 공정하고 재현 가능한 비교를 어렵게 만듭니다. OpenRE-Bench는 이를 해결하기 위해 네 가지 재사용 가능한 구성 요소를 제공합니다: 단일 입력, 단계별 아티팩트(phase-artifact), 그리고 메트릭 계약(metric contract)을 갖춘 공유 실행 하네스; 프레임워크가 단일 어댑터만 구현하여 참여할 수 있게 하는 어댑터 메커니즘으로, 이로써 케이스, 메트릭 및 다른 어댑터는 건드리지 않습니다; 실제 기능 요청으로부터 코퍼스를 확장하는 재현 가능한 GitHub 이슈 마이닝 파이프라인; 그리고 버전 관리된 케이스 스위트입니다. 시연의 일환으로, 우리는 다섯 개의 프로젝트(세 가지 언어, 다섯 가지 도메인)에 걸쳐 수집한 3,000개의 이슈를 다섯 개의 케이스로 마이닝하고, 이를 다섯 개의 직접 구축한 케이스와 함께 간결한 v1.0 스위트로 패키징했으며, 단일 프로토콜 하에서 세 가지 이질적인 프레임워크(논문 충실 재구현인 MARE 및 iReDev, 그리고 QUARE)를 실행했습니다. OpenRE-Bench는 원래 저희 그룹의 QUARE 연구의 평가 백엔드로 시작되었으며, 이후 저희 그룹의 두 건의 추가 연구에 의해 재사용되었습니다. 이 벤치마크는 고정된 환경(pinned environment), Docker 이미지, 동결된 API 스냅샷, 651개 테스트 스위트, 그리고 마이닝된 케이스 뒤에 있는 전체 1,396개의 필터링된 이슈 풀과 함께 공개되었습니다.