무효한 버그 리포트에 대한 자동 근본 원인 하위 분류 및 노코드(No-Code) 수정안 생성

요약

무효한 버그 리포트의 근본 원인을 자동으로 분류하고 노코드(No-Code) 수정안을 생성하는 연구를 다룹니다. Vanilla LLM, RAG, 에이전트 기반 웹 검색을 비교 실험한 결과, 하위 분류에는 RAG가, 노코드 수정안 생성에는 에이전트 기반 웹 검색이 가장 우수한 성능을 보였습니다.

핵심 포인트

• 무효 버그 리포트의 근본 원인 분류에는 RAG 방식이 가장 높은 가중 F1-Score(0.66)를 기록함
• 노코드 수정안 생성 측면에서는 에이전트 기반 웹 검색이 가장 높은 Judge LLM 성공률(68.9%)을 달성함
• 재현 불가능(Non-reproducibility) 및 설계대로 작동함(Working as Designed) 분류에서 높은 성능을 보임
• 잘못된 버전(Wrong Version) 분류는 모든 모델에서 가장 낮은 성능을 보인 어려운 과제로 나타남