WEAVE: 실제 코드 진화 과정을 의존성 구조의 태스크로 엮어 코드 에이전트 평가 및 학습에 활용

실제 소프트웨어 엔지니어링은 고립된 변경사항으로 이루어지는 경우가 드뭅니다. 기능 추가, 마이그레이션, 체계적인 수정 등은 종종 여러 개의 풀 리퀘스트(PR)를 거쳐 진행되며, 이는 저장소 전반에 걸친 조정된 수정을 필요로 합니다. 하지만 대부분의 실행 가능한 저장소 수준 벤치마크는 단일 이슈 또는 PR을 태스크 단위로 유지하며, 기존의 다중 PR 설정은 거친 집계와 구조에 무관한 평가에 의존합니다. 이러한 불일치는 변경사항 간의 의존성을 가리고 장기적인 코드 에이전트의 진척도 측정 및 학습 신호를 제한합니다. 우리는 검증된 PR 이력을 실행 가능하고, 의존성 구조화된 태스크로 변환하는 프레임워크인 WEAVE를 소개합니다. WEAVE는 저장소에 맞춰 조정된 타입별 변경 지점(typed change loci)을 활용하여 관련 PR들을 경계가 있는 DAG(Directed Acyclic Graph)로 구성하고, 각각을 통합된 실행 가능한 태스크로 구현합니다. 또한, 의존성 일관성을 갖춘 부분적 진척도를 측정하고 강화학습(RL)을 위한 조밀하고 검증 가능한 보상을 지원하는 결정론적이고 테스트 기반의 지표인 Graph Credit을 도입했습니다. 태스크 구성, 에이전트 평가, 지도 미세 조정(supervised fine-tuning), 그리고 강화학습 실험 결과는 WEAVE가 일관성 있는 실행 가능 태스크를 제공하며, 평면적인 점수 산정보다 더 충실한 진척도 측정을 가능하게 하고, 코드 에이전트 훈련을 위한 효과적인 감독과 검증 가능한 보상을 제공함을 보여줍니다.