소프트웨어 팩토리는 언제 '무인(Lights-off)'이어야 하는가? 버그 탐지 에이전트를 위한 코드 리뷰 성능 측정

요약

본 논문은 완전 자율적인 소프트웨어 팩토리의 실용성을 평가하기 위해 'CRBugBench'라는 새로운 버그 탐지 벤치마크를 구축했습니다. 이 벤치마크를 통해 최고 수준의 리뷰 에이전트가 인간 검증 버그 중 71.9%를 포착하는 성능을 보였으나, 복잡하거나 비지역적 추론이 필요한 경우 여전히 한계가 있음을 확인했습니다.

핵심 포인트

• 최고 모델은 상위 댓글에서 버그의 71.9%를 포착함.
• 복잡한 변경 사항이나 비지역적 추론에는 성능 저하가 있음.
• 프롬프트 개선보다 컴퓨팅 자원 확장이 더 큰 효과를 가져옴.
• PR 복잡도에 맞춰 검토 노력을 확장하는 것이 중요함.