배포 완결적 벤치마킹 (Deployment-complete benchmarking)

벤치마크 (Benchmarks)는 배포 (deployment), 조달 (procurement) 및 과학적 스크리닝 (scientific screening)을 점점 더 많이 안내하고 있지만, 점수는 기록된 응답만을 지원할 뿐 반드시 배포 행동 (deployment action)을 지원하는 것은 아닙니다. 우리는 벤치마크 증거가 배포 행동을 결정하는지 테스트하는 배포 완결적 벤치마킹 (deployment-complete benchmarking)을 소개합니다. 벤치마크는 각 증거 섬유 (evidence fiber)에서 행동이 일정할 때에만 특정 주장에 대해 완결적 (complete)입니다. 혼합된 섬유 (mixed fibers)는 누락된 배포 정보를 드러내며, 완결성 곡선 (completion curves)은 모호성을 해결하는 데 필요한 증거를 정량화합니다. 통제된 응답 공간 (controlled response spaces)에서, 벤치마크 채널의 등각 커버리지 (benchmark-channel conformal coverage) 94.98%는 측정되지 않은 배포 채널 (unmeasured deployment channel)로 전이되었을 때 성능이 저조했으나 (10.07%), 응답 순위 구간 (response-rank intervals)은 94.91%의 커버리지를 달성했습니다. 심지어 벤치마크 오류가 0인 경우에도 가장 큰 잔차 크기 (largest residual size)에서 후보의 45.4%만을 인증했습니다. 공개 감사 (Public audits) 결과, Tox21 섬유의 97.9%가 혼합되어 있고 주요 Matbench 및 JARVIS 감사에서 중앙값 인증 가능 비율 (median certifiable fraction)이 0인 것을 포함하여 불완전함이 드러났습니다. 홀드아웃 리플레이 (held-out replays)에서, 인증 후 획득 (certify-then-acquire) 방식은 Tox21에서 잘못된 결정 (false decisions)을 1.19%에서 0.027%로, JARVIS에서 20.3%에서 0.128%로 줄였으며, 모델 선택을 변경하고 배포 관련 프로브 (deployment-relevant probes)를 식별했습니다. 배포 준비가 된 벤치마크 (Deployment-ready benchmarks)는 점수만 보고하는 대신 증거, 지원되는 행동, 모호성 및 완결 비용 (completion cost)을 보고해야 합니다.