SoundnessBench: 당신의 AI 과학자는 정말로 좋은 연구 아이디어와 나쁜 아이디어를 구별할 수 있는가?

자율형 AI 연구 에이전트 (Autonomous AI research agents)는 가설 생성부터 동료 검토 (peer review)에 이르기까지 연구 파이프라인을 자동화함으로써 과학적 발견을 가속화하는 것을 목표로 합니다. 그러나 기존의 벤치마크 (benchmarks)는 근본적인 병목 현상, 즉 대규모 언어 모델 (Large Language Models, LLMs)이 시간과 계산 자원을 소모하기 전에 연구 아이디어의 방법론적 타당성 (methodological viability)을 판단할 수 있는지 여부를 거의 테스트하지 않습니다. 우리는 ICLR 제출 논문들로부터 재구성되고, 리뷰어의 타당성 하위 점수 (reviewer soundness sub-scores)가 라벨링되었으며, 원문 논문과 대조 검증된 1,099개의 머신러닝 (machine-learning) 연구 제안서로 구성된 큐레이션된 벤치마크인 SoundnessBench를 소개합니다. SoundnessBench는 전체 논문 리뷰 결과의 정확한 예측이라기보다는, 복구 가능한 제안 단계의 타당성 (proposal-stage soundness)을 위한 벤치마크로 해석되어야 합니다. 12개의 최첨단 LLM (frontier LLMs)을 대상으로 조사한 결과, 만연한 낙관주의 편향 (optimism bias)을 발견했습니다. 표준 프롬프팅 (standard prompting) 하에서 모델들은 타당성이 낮은 제안서를 타당하다고 빈번하게 평가하는 반면, 공격적인 프롬프팅 (aggressive prompting)은 오류를 위양성 (false positives)에서 위음성 (false negatives)으로 크게 이동시킵니다. 공개 코퍼스 오염 (public-corpus contamination), 논문 식별 문구 (paper-identifying phrases), 표면적 특징 (surface features), 그리고 인간 감사 품질 (human audit quality)에 대한 추가적인 통제 실험은 이러한 동작이 단일한 교란 요인 (confounder)으로 설명되지 않음을 시사합니다. 우리의 결과는 현재의 LLM이 과학적 엄밀성 (scientific rigor)을 위한 독립적인 1차 관문 평가자 (first-gate evaluators)로서 아직 신뢰할 수 없음을 나타냅니다.