자기 확신에서 통계적 정확도로: 직접 감사 및 LLM 지원을 통한 인간 참여형 평가 확장

대규모 언어 모델(LLMs)과 멀티모달 대규모 언어 모델(MLLMs)의 경우, 모델이 보고하는 자기 확신도는 종종 오보정(miscalibrated)되지만, 여전히 효율적인 평가에 유용할 수 있습니다. 동시에 LLM-as-a-judge는 직접적인 인간 감사를 대체할 수 있는 확장 가능한 대안을 제공하지만, 그 실질적인 이점은 보정 품질과 추론 비용에 달려 있습니다.

본 논문은 대안적인 샘플링 전략 하에서 두 가지 평가 경로(직접 감사 및 LLM 지원) 모두를 위한 통합 통계적 프레임워크를 개발합니다. 직접 감사의 경우, 신뢰도 계층화 샘플링(confidence-stratified sampling)을 사용하여 보정된 확신도를 요구하지 않고 부분적으로 검증된 출력으로부터 모집단 정확도(population accuracy)를 복구합니다. 유한 표본 불확실성(finite-sample uncertainty)이 특성화되었으며, 분석 결과는 신뢰도가 매우 불균등하게 계층화될 때 감사 효율성과 레이블 할당에 어떤 영향을 미치는지 보여줍니다.

판단자 지원 평가의 경우, 판단자는 민감도(sensitivity)와 위양성률(false-positive rate)을 통해 모델링되어, 보정 불확실성을 가진 오차 보정 추정량(error-corrected estimator)을 산출합니다. 이후 두 경로는 인간 레이블 및 총 비용 효율성 경계(human-label and total-cost efficiency boundaries)를 통해 비교됩니다.

MMLU-Pro와 MMMU-Pro에 대한 실험 결과는 오보정된 자기 확신도라 할지라도 통계적으로 유효한 계층화 감사를 지원할 수 있음을 보여줍니다. 신뢰 분포가 매우 불균형할 경우, 비례적 할당(proportional allocation)은 계층별 균등 할당(equal-per-stratum allocation)에 비해 추정 오차를 상당히 줄여줍니다.

판단자 지원 평가의 경우, 이상적인 인간 레이블 효율성 조건을 만족하는 타겟--검증기 쌍(target--verifier pairs)은 극히 일부이며, 자동 추론 비용이 잠재적 절감액을 더욱 제한할 수 있습니다. 이러한 발견들은 확신도 기반 감사와 자동 검증이 유용한 통계적 및 경제적 조건들을 명확히 합니다.