메타데이터 예측 가능성은 증거 의존성이 아니다: 약한 레이블 벤치마크를 위한 개입 기반 감사

우리는 약한 레이블 벤치마크 (weak-label benchmarks)에 대한 프로토콜 수준의 테스트, 즉 제공된 증거 (evidence)에 개입했을 때 벤치마크 출력이 변하는지 여부를 연구합니다. 메타데이터 전용 지름길 체크 (Metadata-only shortcut checks)는 다른 질문, 즉 출력이 메타데이터 사전 확률 (metadata priors)로부터 예측 가능한지 여부에 답합니다. 따라서 우리는 메타데이터 통계량인 메타데이터 사전 우세 점수 (Metadata Prior Dominance Score, MPDS)와 항목 간 셔플링 (cross-item shuffling) 하에서 증거 정체성에 대한 민감도를 측정하는 증거 개입 통계량인 ΔEvi를 결합합니다. 합성 HotpotQA는 메타데이터 전용 스크리닝에 대한 구성된 반례를 제공합니다: MPDS는 중간 정도(0.643)에 불과하지만, ΔEvi는 0입니다. 더 강력한 리더 (Stronger-reader) 재실행은 왜 보정 (calibration)이 테스트 절차에 포함되어야 하는지를 보여줍니다: SNLI는 보정 역전 (calibration reversal)을 보여주고, 재구성된 HotpotQA는 질문 지배적 경고 영역 (question-dominant warning region)을 차지하며, FEVER는 4개의 트랜스포머 (transformers) 모델 전체에서 강력한 증거 민감성을 보이는 양성 대조군 (positive control) 역할을 합니다. 실질적인 교훈은 간단합니다: 벤치마크 감사 (benchmark audits)는 메타데이터 전용 스크리닝, 증거 개입, 그리고 리더 강도 보정 (reader-strength calibration)을 함께 보고해야 합니다.