시스템의 단일 결정은 일관성을 유지하는가?: 확률적 일관성 연구

결정 모델은 모든 질문에 대해 합이 1인 확률을 제공할 수 있지만, 동일한 결정을 더 작은 단계로 분해했을 때는 스스로와 모순될 수 있습니다. 우리는 TREC, CLINC150, MASSIVE의 각 시스템별 2,500개의 매칭된 예시를 사용하여 Jev와 영어 Laya 체크포인트에서 이러한 형태의 확률적 일관성을 연구했습니다. 총 72,000개의 분류 질문에 걸쳐, 우리는 직접적인 미세 레이블 예측과 광범위 범주별 확률 및 해당 범주를 통해 재구성된 예측을 비교했습니다. 두 시스템 모두 상당한 불일치를 보였습니다: 평균 범주 수준의 총 변동(total variation)은 Jev의 경우 0.219에서 0.349 사이였고, Laya의 경우 0.424에서 0.689 사이였으며, 이 척도에서 0은 정확한 일치를 의미합니다. 그 결과는 극명하게 다릅니다. CLINC150에서는 재구성이 Jev의 정확도를 22.9 퍼센트 포인트 감소시켰고 (쌍별 95% 부트스트랩 구간: [-24.9, -20.9]), Laya의 정확도는 21.3 포인트 향상시켰습니다 ([18.0, 24.5]). 이러한 경향은 세 데이터셋 모두에서 유지되었으며, 모든 여섯 개의 조정되지 않은 정확도 변화 구간은 0을 제외했습니다. 개선된 정확도는 또한 덜 신뢰할 수 있는 신뢰도를 동반할 수도 있습니다: MASSIVE의 경우 Laya는 9.2개의 정확도 포인트를 얻었지만, 예상 교정 오차(expected calibration error)는 0.046에서 0.124로 증가했습니다. 오류 분석은 광범위 범주별 실수와 범주 내 혼란을 모두 식별했습니다. 이러한 발견들은 결정 시스템이 애플리케이션에서 사용되는 워크플로우에서 정확도, 신뢰도 교정(confidence calibration), 그리고 확률적 일관성을 공동으로 평가해야 하는 이유를 보여줍니다.