Meta에서의 저위험 코드 리뷰 자동화: RADAR, 위험 보정(Risk Calibration), 그리고 리뷰 효율성

AI 보조 코딩 도구들은 소프트웨어 생산 방식을 변화시켰습니다. Meta에서는 인간이 반영한 디프(diff)당 유의미한 코드 라인 수가 전년 대비 105.9% 증가했으며, 개발자당 디프(diff) 볼륨은 51% 상승했습니다. 이 성장의 80% 이상은 에이전트형 AI (agentic AI)가 담당했습니다. 한편, 적시에 리뷰를 받는 디프(diff)의 비율은 감소하고 있으며, 이는 코드 공급과 리뷰어의 대역폭(bandwidth) 사이의 격차가 벌어지고 있음을 보여줍니다. 우리는 타당성 검토부터 보정, 그리고 영향력 분석에 이르기까지 세 가지 질문을 던집니다: (1) 위험 계층화된 자동화 (risk-stratified automation)가 다양한 조직에 걸쳐 대규모로 운영될 수 있는가, (2) 위험 임계값 (risk threshold)을 조정하는 것이 자동화 수율과 안전성 사이의 트레이드오프 (trade-off)에 어떤 영향을 미치는가, (3) 자동화된 리뷰가 AI 생성 변경 사항의 엔드 투 엔드 지연 시간 (end-to-end latency)을 어느 정도까지 줄여주는가? 우리는 RADAR (Risk Aware Diff Auto Review)를 배포했습니다. 이는 각 디프(diff)를 작성자 및 소스 유형별로 분류하고, 자격 게이트 (eligibility gates), 정적 휴리스틱 (static heuristics), 머신러닝 기반의 디프 위험 점수 (Diff Risk Score), LLM 기반의 자동 코드 리뷰 (LLM-based Automated Code Review), 그리고 적격한 변경 사항을 반영하기 전의 결정론적 검증 (deterministic validation)을 적용하는 다단계 퍼널 (multi-stage funnel)입니다. 우리는 535,000개 이상의 RADAR 리뷰된 디프(diff)를 포함하는 텔레메트리 (telemetry), 정책 변경에 따른 관찰 기반의 전후 비교, 그리고 효율성 결과에 대한 이중차분법 (difference-in-differences) 분석을 통해 RADAR를 평가합니다. RADAR는 535,000개 이상의 디프(diff)를 리뷰했으며 331,000개 이상을 반영했습니다. 디프 위험 점수 (Diff Risk Score) 임계값을 25백분위수에서 50백분위수로 완화했을 때 승인율은 60.31%로 증가했습니다. RADAR가 리뷰한 디프(diff)의 되돌리기 (revert) 비율은 비-RADAR 디프(diff)의 1/3 수준이며, 운영 장애 (Production Incident) 비율은 비-RADAR 디프(diff)의 1/50 수준입니다. RADAR는 중앙값 종료 시간 (median time to close)을 330% 이상 단축하고, 중앙값 디프(diff) 리뷰 대기 시간 (median diff review wall time)을 35% 단축합니다. 위험 인지형 계층적 자동화 (Risk-aware layered automation)는 운영 안전성을 저해하지 않으면서 AI 주도의 코드 증가로 인해 발생하는 리뷰 병목 현상을 실질적으로 줄일 수 있습니다.