Dialogue SWE-Bench: 대화 기반 코딩 에이전트를 위한 벤치마크

AI 코딩 에이전트(AI coding agents)는 소프트웨어 엔지니어링을 빠르게 변화시키며, 널리 사용되는 대화형 코딩 어시스턴트(interactive coding assistants)의 동력이 되고 있습니다. 실제 환경에서의 상호작용적인 사용에도 불구하고, 기존의 벤치마크(benchmarks)들은 이들을 완전히 자율적인 시스템(fully-autonomous systems)으로 평가합니다. 본 연구에서는 사용자와의 대화를 통해 실제 소프트웨어 엔지니어링 문제를 해결하는 코딩 에이전트의 능력을 평가하기 위한 자동화된 벤치마크 데이터셋인 Dialogue SWE-Bench를 소개합니다. 우리는 작업 평가를 지원하기 위해 페르소나에 기반한(persona-grounded) 새로운 사용자 시뮬레이터(user simulator)를 설계하였으며, 대화 품질(dialogue quality)에 대한 자동 평가를 통해 작업 평가를 보강하였습니다. 또한, 기존의 코딩 에이전트들의 대화 능력을 향상시키는 것을 목표로 하는 새로운 스키마 가이드 에이전트(schema-guided agent)를 제안하며, 이는 강력한 베이스라인(baselines) 대비 3-14%의 성능 향상을 보여줍니다. 우리의 결과는 더 나은 코딩 모델이 항상 더 나은 대화 모델과 일치하지는 않는다는 것을 나타내며, 이는 대화 능력(dialogue capability)이 코딩 에이전트 성능의 별개이며 현재 충분히 연구되지 않은 차원임을 시사합니다.