우리는 SciResearch-Eval을 소개합니다. 이 벤치마크는 표준 실험실 문제, 즉 물질의 열적 특성을 가열하고 열 전도 시뮬레이터를 피팅하여 측정하는 과정을 기반으로 구축된 상호작용적인 과학적 판단 평가 도구입니다. 에이전트는 자체적으로 실험을 설계하고, 부정확하거나 물리적으로 잘못되었을 수 있는 제공된 시뮬레이터를 사용하며, 각 특성을 95% 구간(interval)과 함께 보고합니다. 우리가 아는 한, 이 벤치마크는 에이전트가 설계한 실험, 의도적으로 결함이 있는 시뮬레이터, 그리고 정확한 정답(ground truth) 대비 보정된 구간에 대한 적절한 점수화(proper scoring)를 결합한 최초의 벤치마크입니다.
별도로 분리된 데이터셋(held-out split, 93개 태스크, 9개 모델, 2,511 에피소드)에서 모델들이 절차적 함정(procedural traps)을 처리하는지 확인했습니다. 시뮬레이터가 물리학적 원리를 누락했을 때, 대부분의 모델은 자신이 95% 확신한다고 주장하면서도 잘못된 값을 보고합니다. 이들의 구간이 진실을 포함하는 비율은 20~62%에 불과했으며, 이는 GPT-6 Astra의 94%, Claude Fable 5.2의 99%와 비교됩니다.
기본 노력(default effort) 수준에서 성능이 저하된 Claude 5.5 모델들은 누락된 물리학적 원리를 진단하는 경우가 드뭅니다 (Opus는 35% 에피소드에서, Astra가 66% 에피소드에서). 설령 진단에 성공하더라도 그들의 구간은 종종 놓칩니다. 반면, Astra와 Fable은 온화한 가열과 같이 결함이 있는 시뮬레이터가 정확한 실험을 설계하며, 이는 원인을 명시하지 않더라도 Astra를 보정 상태로 유지시킵니다. 더 넓은 구간을 요구하는 것은 도움이 되지 않았습니다. 전략을 설명하는 것이 구간 점수를 1.6~2.5배 향상시키는 것으로 나타났으며, 이 결과는 사전에 등록된 새로운 분할(pre-registered fresh split)에서도 재현되었지만, 커버리지 자체는 거의 변하지 않았습니다.
사전 등록 노력 제거 실험(pre-registered effort ablation)은 이러한 수정이 Claude 5.5 모델에 잠재되어 있음을 보여줍니다: 최대 노력 수준에서 Opus는 10배 이상 개선되며 기본 상태의 Astra와 감지할 수 없을 정도로 뒤처지지 않게 되지만, 이는 13~31배 더 많은 추론을 통해서만 가능합니다. 구형 및 오픈 웨이트 모델들은 아무런 이득도 얻지 못했습니다. Fable 5.2는 기본 노력 수준에서 가장 정확한 모델(Astra보다 구간 점수가 1.9배 우수)이지만, 토큰을 6배 더 많이 작성하며, Astra의 토큰 수에 맞추면 성능이 떨어집니다. 우리는 이 환경(environment), 채점기(graders), 그리고 하네스(harness)를 공개합니다.