소프트웨어 수리 에이전트를 위한 버그 리포트 작성: 가장 중요한 정보는 무엇인가?
요약
본 연구는 소프트웨어 개발이 에이전트 중심 워크플로우로 전환됨에 따라, 버그 리포트를 단순 문서가 아닌 AI 에이전트의 작업 사양으로 간주합니다. SWE-bench Verified 벤치마크를 활용하여 다양한 정보 유형을 분석하고, LLM 백본(GPT-5-mini, MiniMax M2.5, Gemini 3 Flash)을 이용해 mini-swe-agent로 테스트했습니다. 그 결과, 에이전트의 성공적인 수리에는 코드 영역 참조와 제안된 수정 사항 같은 지역화 단서가 가장 중요함을 밝혀냈습니다.
핵심 포인트
- 에이전트 시대의 이슈 보고서는 단순 문서가 아닌 작업 사양이다.
- 코드 영역 참조(지역화 단서)는 에이전트 성공과 강한 양의 상관관계를 보인다.
- 제안된 수정 사항은 수리 통과 확률과 가장 강력하게 연관된다.
- 에이전트는 재현 단계보다 지역화 단서나 제안된 수정 사항을 통해 더 많은 이득을 얻는다.
소프트웨어 개발은 점점 더 에이전트 중심(agentic-first) 워크플로우로 이동하고 있습니다. 여기에는 제출된 이슈 보고서에 대한 초기 수정 사항을 생성하는 AI 에이전트가 포함됩니다. 이러한 환경에서, 이슈 보고서는 더 이상 인간 유지 관리자를 위한 단순한 문서가 아닙니다. 대신, 그것들은 에이전트를 위한 주요 작업 사양(task specification)이 됩니다. 그러나 그러한 보고서를 어떻게 작성해야 에이전트가 정확한 수정 사항을 생성할 가능성을 극대화하는지에 대해서는 알려진 바가 거의 없습니다. 우리는 버그 리포트가 에이전트 준비 상태(agent-ready)가 되기 위해 무엇이 필요한지 연구합니다. SWE-bench Verified 벤치마크(즉, 인간이 작성한 골드 패치와 생성된 수정을 평가하기 위한 테스트 스위트를 갖춘 500개의 실제 저장소 이슈 모음)에서 시작하여, 우리는 각 이슈를 변경 유형(예: 버그 수정 대 리팩토링)별로 수동 분류하고, 관찰된 동작(observed behavior), 예상되는 동작(expected behavior), 재현 단계(reproduction steps), 지역화 단서(localization cues), 제안된 수정 사항(suggested fixes)과 같은 정보 유형으로 각 문장에 주석을 달았습니다. 우리는 버그 보고서를 나타내는 441개 이슈에 초점을 맞추고, 세 가지 LLM 백본(즉, GPT-5-mini, MiniMax M2.5, 그리고 Gemini 3 Flash)을 사용하여 mini-swe-agent로 실행합니다. 그런 다음 혼란 변수(confounding factors)를 통제하면서 각 정보 유형과 에이전트 성공 간의 증가적 연관성을 추정하기 위해 이항 회귀 모델(binomial regression model)을 적합시킵니다. 우리의 결과는 에이전트 중심 보고서가 에이전트의 검색 및 수리 공간을 좁히는 정보를 가장 많이 활용한다는 것을 시사합니다. 영향을 받는 코드 영역에 대한 참조와 같은 지역화 단서는 성공적인 수정과 양의 상관관계를 가지는 반면, 코드나 자연어로 표현되는 제안된 수정 사항은 통과 확률(pass probability)과 가장 강력한 양의 연관성을 보여줍니다. 선택된 정보 유형을 제거하는 제거 연구(ablation study)는 에이전트가 재현 단계와 같이 인간에게 전통적으로 유용했던 정보로부터는 덜 이득을 얻고, 버그 지역화 또는 제안된 수정 사항을 통해 수리 방향을 노출하는 문장에서 더 많은 이득을 얻는다는 것을 확인합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기