Change2Task: 저장소 변경 사항을 실행 가능한 코딩 에이전트 작업 및 환경으로 변환하기
요약
Change2Task는 저장소 이력을 기반으로 풀 리퀘스트를 실행 가능한 코딩 에이전트 작업으로 변환하는 시스템입니다. 이를 통해 버그 수정, 기능 추가 등 다양한 작업 데이터를 자동으로 생성하여 에이전트의 훈련과 평가를 지원합니다.
핵심 포인트
- 저장소 이력을 활용해 검증된 코딩 에이전트 작업 데이터 생성
- 버그 수정, 기능 추가, API 마이그레이션 등 5개 작업군 지원
- 기존 방식 대비 29.2% 더 많은 검증된 작업 복구 성공
- 최신 베이스 재사용을 통해 파이프라인 비용 10.8% 절감
코딩 에이전트 (Coding Agent)를 확장하기 위해서는 훈련, 벤치마킹 및 지속적인 평가를 위한 실행 가능한 데이터의 지속적인 공급이 필요합니다. 각 작업은 현실적인 소프트웨어 상태를 명세 (Specification), 개발 도구 및 신뢰할 수 있는 검증과 결합해야 합니다. 이러한 공급을 확장하기 위해, 우리는 저장소 이력 (Repository History)에 기반하여 병합된 풀 리퀘스트 (Pull Request)를 동일한 저장소의 건강한 최신 리비전 (Revision) 상의 검증된 작업으로 변환하는 시스템인 Change2Task를 제시합니다. 이 시스템은 역사적 증거를 진화된 코드와 정렬하고, 패치 역전 (Patch Reversal), 코드 매핑 (Code Mapping) 또는 에이전트 재구성 (Agent Reconstruction)을 통해 작업 상태를 재구성하며, 건강한 베이스에서 작업 상태 및 복구된 상태에 이르는 라이프사이클을 검증합니다. 유지 관리되는 환경으로부터 개발자 증거에 기반한 다수의 작업을 도출함으로써, Change2Task는 반복적인 환경 설정, 저장소 및 작업 구축 노력을 줄이는 동시에 코딩 에이전트 훈련 및 평가를 위한 실행 가능한 데이터를 제공합니다. 우리는 다섯 가지의 흔하고 널리 채택된 코딩 에이전트 작업군인 버그 수정 (Bug Fix), 기능 추가 (Feature Addition), 테스트 생성 (Test Generation), API 마이그레이션 (Application Programming Interface Migration) 및 보안 수정 (Security Repair)을 통해 시스템을 평가합니다. 구축 가능한 1,130개의 소스 변경 사항에서 시작하여, Change2Task는 이러한 작업군 전반에 걸쳐 79.6%의 검증된 작업 구축 성공률을 달성했습니다. 매칭된 후보 세트에서, 이는 풀 리퀘스트 기반의 구축 베이스라인보다 29.2% 더 많은 검증된 작업을 복구합니다. 이력 및 재구성된 사례들은 에이전트 평가 하에서 최대 98.0%의 매칭된 결과 일치도를 달성하였으며, 최신 베이스를 재사용함으로써 전체 파이프라인의 측정된 비용을 10.8% 절감했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기