System 1 모델의 확신과 결정은 신뢰할 수 있는가? Jev 스타일 의사결정 모델에 대한 설명 가능성 및 교란 감사

"System 1" 의사결정 모델(TypeSafe AI의 Jev가 개척)은 자기회귀적 텍스트 생성(autoregressive text generation)을 선언된 스키마(Choice, Score, Noul)에 대한 유형화된 확률 분포를 반환하는 단일 순전파(single forward pass)로 대체합니다. 이 모델들은 낮은 지연 시간 라우팅 및 자동 분류(automated triage)에 배포되었지만, 통계적 보정(statistical calibration)과 사후 설명 가능성(post-hoc explainability)은 아직 특성화되지 않은 상태입니다. 우리는 레이블 보존 교란(label-preserving perturbations), 교차 질문 간 간섭(cross-question interference), 그리고 사후 귀속 충실도(post-hoc attribution faithfulness)에 걸쳐 System 1 의사결정 모델을 평가하는 개방형의 결정론적 감사 벤치마크를 소개합니다. 다섯 가지 개방 가중치 모델(0.8B ~ 27B)과 생성형 System 2 기준선(single-token logprob 스코어링 및 구조화된 JSON/CoT 디코딩 모두 포함)을 NLI (e-SNLI), 적대적 구문 단축키(HANS), 합성 임상 분류(N=900), 프롬프트 주입 방어(Tensor Trust, N=250), 그리고 86개 케이스의 논리 게이트 트리거 스위트 전반에 걸쳐 평가한 결과 다섯 가지 발견을 얻었습니다: (1) 제공자의 확신도는 경험적 정확도라기보다는 정확한 폐쇄형 공식 분산 변환(sub-10B 모델에서 $1 - H(p)/ ext{ln K}$; Clef-27B에서 정규화된 마진)입니다. (2) 하나의 요청에 여러 질문을 묶어 처리하는 것은 방향성 교차 질문 간 간섭(Tev1-0.8B에서 11.7% ~ 22.4%의 이진 플립 대 Tev1-4B에서 0.1% ~ 0.2%)을 유발합니다. (3) >= 4B 파라미터를 가진 System 1 모델은 구문 변화(syntactic shifts) 하에서 logprob (0.144) 및 JSON (0.378) 기준선보다 더 빠르고 잘 보정됩니다(ECE_w = 0.030 ~ 0.087). (4) 프롬프트 주입 방어(N=250)의 경우, >= 4B 모델은 4860ms에서 최대 95.2%의 재현율과 0.0%의 오경보를 달성하며 0.988 ~ 0.998 AUROC를 달성합니다. (5) 단일 패스 추론(single-pass inference)은 512-coalition XAI 인터랙티브 기능을 가능하게 하며(입력당 1.33.2초), logit 링크가 적용된 KernelSHAP(S1-SHAP)는 분할 OR 게이트에서 소프트맥스 포화(softmax saturation)를 완화합니다(확률 공간에서의 57.1% ~ 82.1% 대비 게이트 복구율 89.3% ~ 100.0%; p_adj = 0.004).