프런티어 AI 평가의 공공 아카이브를 위한 베이지안 추론 및 의사결정 감사

공공 AI 평가(Public AI evaluations)는 종종 최종 결과만을 보여주는 리더보드(leaderboards)로 읽히지만, 그 근저에 깔린 증거는 보고 규칙, 벤치마크 수정, 그리고 결측치(missingness)에 의해 형성된 선택적 시계열(selective time series)입니다. LiveBench와 Open LLM Leaderboard v2의 반복적인 공공 아카이브(public archives)는 주요한 종단적 기록(longitudinal record) 역할을 하며, LMArena는 선호도 스트레스 테스트(preference stress test)를 제공하고, GAIA와 tau-bench는 제한적인 에이전트 파일럿(agentic pilots)을 기여합니다. 이 아카이브들은 함께 하나의 베이지안 추론(Bayesian inference) 문제를 구체화합니다: 고정된 보고 관례 하에서, 1,000개 이상의 시스템에 대해 구축된 단 하나의 최종 결과 예시는 두 가지의 사전 최종 이력(pre-terminal histories)과 호환될 수 있으며, 동일한 최종 꼬리 모델(terminal-tail model) 하에서 천장(ceiling)의 0.05 이내에 도달하는 데 각각 23.03 또는 75.13의 시간이 소요될 수 있습니다. 합성 사후 확률(synthetic posterior) 비교에서, 행동 중심 진단(action-facing diagnostics)은 관찰 체계(observation regimes)에 따라 달라집니다. 후보 선택을 인지하는 프런티어 모델(candidate selection-aware frontier model)은 합성 복구(synthetic recovery), 객관적 아카이브 예측(objective-archive prediction), 선호도 전이(preference transfer), 그리고 불확실성 보정(uncertainty calibration)에 실패하며, 이에 따라 고정된 감사 게이트(fixed audit gates)는 해당 모델의 더 강력한 주장들을 거부합니다. 아카이브 및 판결 프로토콜(archive-and-adjudication protocol)은 공공 평가 이력을 재구성하고, 검증된 타이밍 경계(verified timing boundary)를 격리하며, 근거 없는 프런티어 주장들을 반증(falsifies)합니다.