실무에서 자동화 코드 리뷰 봇 평가의 한계 이해

요약

자동화된 코드 리뷰(ACR) 봇의 도입이 증가함에 따라, 봇이 생성한 코멘트의 유용성을 대규모로 평가하는 것이 주요 과제로 부상했습니다. 본 연구는 산업 환경에서 LLM 기반 ACR 봇을 평가하기 위해 G-Eval 및 LLM-as-a-Judge와 같은 두 가지 자동화된 접근법을 적용하고, 실제 개발자 레이블과 비교 분석했습니다. 그 결과, 최신 대규모 언어 모델(LLM)들조차도 인간의 판단과 중간 정도의 일치만을 보였으며, 이는 ACR 봇 코멘트 평가를 완전히 자동화하는 데 실질적인 한계가 있음을 시사합니다.

핵심 포인트

• ACR 봇의 평가는 개발자의 행동 및 상황적/조직적 요인에 크게 의존하여 객관적인 기준(ground truth) 설정이 어렵다.
• G-Eval과 LLM-as-a-Judge 같은 자동화된 평가 접근법을 사용했음에도 불구하고, 최신 LLM들(Gemini-2.5-pro, GPT-4.1-mini 등)은 인간 레이블과의 일치도가 중간 수준에 머물렀다.
• 평가 결과는 모델 선택과 평가 설계 방식 모두에 민감하며, 합의 비율이 0.44에서 0.62 사이로 나타났다.
• 개발자의 코멘트 처리(fix/wontFix) 행위는 단순한 품질을 넘어 워크플로우 압력 및 조직적 제약을 반영하므로, 정적 아티팩트로 포착하기 어렵다.