arXiv논문2026. 11. 13. 17:12

Robo-SWE: 로봇 소프트웨어 저장소에서 추출한 실행 가능한 이슈 해결 데이터셋 대표 이미지

Robo-SWE: 로봇 소프트웨어 저장소에서 추출한 실행 가능한 이슈 해결 데이터셋

원문 발행 2026. 11. 12. 08:51원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

로봇 소프트웨어의 특성을 반영하여 코딩 에이전트 평가를 위한 새로운 데이터셋 Robo-SWE를 제시합니다. 이 데이터셋은 28개 로보틱스 저장소에서 채굴된 236개의 실행 가능한 이슈 해결 태스크로 구성되어 있습니다. 또한, 다양한 코딩 에이전트를 이용해 수행한 3,540회의 채점 기록과 성능 지표를 제공합니다.

핵심 포인트

ROS 2 및 시뮬레이션 등 네 가지 로보틱스 도메인을 포괄하는 데이터셋입니다.
각 태스크는 실패/성공 테스트와 컨테이너 레시피가 포함되어 실행 검증이 가능합니다.
Claude Opus 5.5가 56.5%의 해결률을 기록하며 높은 성능을 보였습니다.
데이터셋은 모든 후보 PR에 대한 출처 기록부(provenance ledger)를 유지합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기

0

댓글

0

코딩 에이전트(Coding agents)는 주로 범용 소프트웨어를 기반으로 평가되지만, 도메인 특화 시스템은 해당 도메인을 인지하는 평가가 필요합니다. 로봇 소프트웨어는 특히 까다로운 사례입니다. Robot Operating System 2 (ROS 2) 패키지는 자체 빌드 도구를 가지고 있으며, 시뮬레이터와 학습 프레임워크는 물리 엔진(physics engines)을 기반으로 구축되고, 타이밍과 하드웨어에 의존하는 동작은 테스트하기 어렵습니다.

저희는 네 가지 도메인—ROS 2 시스템, 시뮬레이션 및 물리 엔진, 로봇 공학 알고리즘 라이브러리, 그리고 로봇 학습 프레임워크—의 28개 공개 로보틱스 저장소에서 병합된 풀 리퀘스트(pull requests)를 채굴하여 얻은 236개의 실행 가능한 이슈 해결 태스크 데이터셋인 Robo-SWE를 제시합니다. 각 태스크는 원래의 이슈 텍스트, 수정 전 커밋 시점의 저장소용 컨테이너 레시피(container recipe), 개발자의 수정 내용, 그리고 반복적인 오프라인 실행에서 수정 전에는 실패하고 수정 후에는 통과하는 개발자의 테스트를 포함합니다.

이 데이터셋은 또한 모든 1,567개의 후보 풀 리퀘스트에 대한 출처 기록부(provenance ledger)를 유지하며, 각 요청이 도달한 단계와 거절된 이유를 기록했습니다. 더 나아가 최초로 5가지 코딩 에이전트 설정으로 수행한 3,540회의 채점된 시도와 녹화된 패치, 그리고 3,529개의 사용 가능한 궤적(trajectories)을 제공합니다. 주요 설정별 세 번의 실행에 걸쳐 해결률은 Claude Sonnet 5.5의 경우 45.8%에서 Claude Opus 5.5가 56.5%까지 다양하게 나타났습니다. GPT-6.1 Sol은 최대 노력 시 54.1%, 중간 노력 시 52.5%를 달성했으며, GPT-6 Astra는 51.4%였습니다. GLM-5.3은 46.2%를 해결했고, Kimi K3.1 Pro는 43.9%를 해결했습니다. 이 태스크들은 실행을 통해 검증되었으며, 인간 리뷰어에 의한 공정성 검증은 향후 작업입니다. 데이터셋과 공개 리더보드는 온라인에서 이용 가능합니다.