잘 명세되고 잘 테스트되었는가? 자기 진화 에이전트를 이용한 SWE-bench 스타일 데이터셋 평가

대규모 언어 모델(LLMs)은 소프트웨어 엔지니어링(SE) 작업에서 강력한 성능을 보여주었으며, 이는 신뢰할 수 있는 학습 및 평가를 위한 고품질 데이터셋의 필요성을 증대시키고 있습니다. SWE-bench 스타일 데이터셋(SWE datasets)은 실세계 소프트웨어 이슈에 대해 LLM 기반 코딩 에이전트를 평가하는 데 널리 사용되는데, 여기서 작업 명확성과 테스트 커버리지는 인스턴스가 해결 가능하고 검증 가능한지 여부에 직접적인 영향을 미칩니다. 하지만 기존 SWE 데이터셋에는 품질 문제가 지속적으로 존재하며, 수동 주석 작업은 비용이 많이 들고 노동 집약적이기 때문에 LLM 기반의 주석화가 필요합니다. 기존 접근 방식들은 일반적으로 정적이고 지나치게 일반적인 기준에 의존하여 다양하고 미묘한 시나리오를 처리하는 능력이 제한적이며 종종 높은 위양성률(false positive rates)을 초래합니다. 반면, 인간 주석가는 축적된 경험을 활용하여 상황 인지적인 판단을 내립니다. 이에 영감을 받아, 우리는 SWE 데이터셋의 작업 명확성과 테스트 커버리지를 평가하기 위한 LLM 기반의 자기 진화적이고 경험 가이드형 어시스턴트인 ExLabel을 제안합니다. ExLabel은 다양한 인스턴스 지식을 안정적이면서도 적응적인 판단 기준으로 추출하는 '경험 뱅크(experience bank)'를 유지하며, 관련 경험을 재사용하여 새로운 인스턴스의 평가를 안내합니다. 체계적인 평가를 위해, 우리는 SWE-bench와 Multi-SWE-bench에서 인간의 주석을 정제하여 구축한, 여덟 가지 프로그래밍 언어를 포괄하는 새로운 벤치마크인 SWE-TQ를 구성했습니다. 세 가지 백본 LLM으로 수행된 실험 결과, ExLabel은 작업 명확성 및 테스트 커버리지 평가에 대해 Python/Multilingual 서브셋에서 각각 최고 기준 대비 44.2%/49.9% 및 24.0%/18.4%의 상대적 개선을 달성하며 모든 설정에서 최고의 F1 점수를 기록했습니다. 더욱이, ExLabel로 필터링된 SWE-rebench 데이터로 미세 조정된 코딩 모델은 SWE-bench Verified 상의 이슈 중 66.2%를 해결하여, 최고 기준으로 필터링된 데이터로 학습된 모델보다 14.5% 더 높은 성능을 보였습니다.