E3: 자동화된 연구 비평을 위한 이슈 레벨 백테스팅 (Issue-Level Backtesting)

우리는 연구 논문에서 의사결정에 중요한 기술적 우려 사항을 식별함으로써 리뷰어와 엔지니어링 팀을 보조하는 자동화된 리뷰 어시스턴트인 E3를 선보입니다. 각 우려 사항에 대해 E3는 그 성격, 위치, 기여도에 미치는 영향, 그리고 이를 해결할 수 있는 분석 또는 증거를 보고하며, 이는 근거 없는 주장 (unsupported claims), 누락된 어블레이션 (missing ablations), 취약한 베이스라인 (weak baselines), 숨겨진 가정 (hidden assumptions), 타당성에 대한 위협 (threats to validity), 그리고 데이터 누수 위험 (leakage risks)을 포괄합니다. 오염 (contamination) 혼란 없이 E3를 평가하기 위해 우리는 이슈 레벨 백테스팅 (issue-level backtesting) 프로토콜을 채택합니다. 코퍼스 (corpus)는 모든 자동화된 소스의 학습 중단 시점 (training cutoff) 이후에 발표된 논문으로 제한되며, 각 논문에 대해 익명화된 리뷰만을 관찰하는 메타 판사 (meta-judge)가 모든 이슈-소스 쌍을 Caught (포착됨), Partial (부분적), 또는 Missed (놓침)로 라벨링합니다. 100개의 ICLR 2026 논문과 4,598개의 판정된 이슈 행에 적용하여, E3를 ICLR 인간 리뷰 및 OpenAI의 gpt-5.4와 Anthropic의 claude-opus-4-6를 기반으로 구축된 두 개의 프롬프트 매칭 LLM 베이스라인(메타 판사 gpt-5.5 사용)과 비교한 결과, E3는 모든 집계 지표에서 가장 높은 재현율 (recall)을 달성했습니다. Partial을 포함한 재현율은 90.2%에 달하며, 이는 GPT보다 15.5포인트, Claude보다 17.1포인트, 그리고 인간 리뷰보다 29.2포인트 높습니다. 엄격한 재현율 (strict recall) 또한 65.8%로 순위를 유지했습니다. 인간 리뷰어가 제기한 우려 사항에 대해 E3는 89.6%를 복구하였으며, 인간 리뷰어가 놓친 우려 사항에 대해서는 판정된 합집합에 포함된 1,635개의 추가 행을 드러냈는데, 이는 차순위 소스보다 406개 더 많은 수치입니다. 코퍼스, 베이스라인 프롬프트, 판사 프롬프트 템플릿 및 평가 코드가 공개되었습니다.