실무에서 자동화 코드 리뷰 봇 평가의 한계 이해

자동화된 코드 리뷰 (ACR) 봇은 풀 리퀘스트 (PR) 리뷰 과정에서 개발자를 보조하기 위해 산업용 소프트웨어 개발 분야에서 점차적으로 사용되고 있습니다. 도입이 확대됨에 따라 봇이 생성한 코멘트의 유용성을 신뢰할 수 있고 대규모로 평가하는 방법에 대한 주요 과제가 발생했습니다. 실제로 이러한 평가는 주로 개발자의 행동과 주석을 기반으로 하며, 이는 상황적 및 조직적 요인에 의해 형성되어 객관적인 기준 (ground truth) 으로 사용하기를 어렵게 만듭니다. 우리는 산업 환경에서 LLM 기반 ACR 봇의 평가 자동화 가능성과 한계를 고찰합니다. Beko 에서 수집한 산업용 데이터셋을 분석하여, 소프트웨어 엔지니어들이 'fix' 또는 'wontFix'로 표시된 총 2,604 개의 봇 생성 PR 코멘트를 검토했습니다. 두 가지 자동화된 평가 접근법인 G-Eval 과 LLM-as-a-Judge 파이프라인을 이진 결정 (binary decisions) 과 0-4 리커트 척도 (Likert-scale) 형식 모두로 적용하여 개발자가 제공한 레이블과 통제된 비교를 가능하게 했습니다. Gemini-2.5-pro, GPT-4.1-mini, 그리고 GPT-5.2 모델에 대해 두 평가 전략 모두 인간 레이블과의 중간 정도의 일치만 달성했습니다. 합의 비율은 약 0.44 에서 0.62 사이로 변하며, 모델 선택과 평가 설계 모두에 대한 민감도를 나타냅니다. 우리의 결과는 산업적 맥락에서 ACR 봇 코멘트의 평가를 완전히 자동화하는 데 있어 실용적인 한계를 강조합니다. 코멘트를 해결하거나 무시하는 것과 같은 개발자의 행동은 코멘트 품질뿐만 아니라 상황적 제약, 우선순위 결정, 워크플로우 동역학 등을 반영하며, 이러한 요소들은 정적 아티팩트를 통해 포착하기 어렵습니다. 소프트웨어 엔지니어링 디렉터와의 후속 인터뷰에서 얻은 통찰은 개발자의 레이블링 행위가 워크플로우 압력과 조직적 제약에 의해 크게 영향을 받음을 추가로 뒷받침하여, 이러한 신호를 객관적인 기준 (ground truth) 으로 취급하는 데 있어 발생하는 도전 과제를 강화합니다.