GitHub, 2026년 10월 5일 ReviewBench 공개: 실제 PR 기반 AI 코드 리뷰 에이전트 평가 벤치마크

GitHub는 2026년 10월 5일, 실제 풀 리퀘스트(pull requests)를 대상으로 AI 코드 리뷰 에이전트를 평가하기 위한 공공 연구 프리뷰 벤치마크인 ReviewBench를 출시했습니다.

이 코퍼스(corpus)는 19개 언어에 걸쳐 187개의 오픈 소스 저장소에서 가져온 219개의 공개 풀 리퀘스트를 포함하고 있으며, 언어 및 레포지토리 크기 구성은 1억 개 이상의 GitHub PR을 모델링했습니다. 정답(Ground truth)은 여러 출처의 기준에 따라 수집되었으며 선임 엔지니어들에 의해 독립적으로 재확인되었습니다. ReviewBench는 근거 기반(grounded) 및 증강된(augmented) 정밀도(precision), 재현율(recall), F1 점수를 보고하고, 데이터셋과 평가자 설정(judge configuration)을 공개하며, 팀들이 자체 에이전트를 셀프 서비스 러너(self-serve runner)를 통해 가져와 테스트하고 리더보드에 참여할 수 있도록 합니다. GitHub는 오프라인 ReviewBench 점수에서 Copilot 코드 리뷰가 이후 프로덕션 A/B 테스트의 방향성을 추적해 왔다고 밝혔습니다.

중요한 이유: 이제 코드 리뷰 에이전트들은 공급업체의 일화(vendor anecdotes) 대신 공유되고 검사 가능한 점수판을 갖게 되었습니다. 출처: GitHub Blog, 2026년 10월 5일.

#GitHub #ReviewBench #Copilot #CodeReview #AI
@github @GitHubCopilot