오페라드 일관성 (Operadic consistency): LLM의 구성적 추론 실패를 감지하기 위한 레이블 없는 신호

정답 레이블(ground-truth labels) 없이 추론 시점에 LLM의 추론 실패를 감지하려는 시도는 질문 내 샘플링(within-question sampling) 및 자기 평가(self-evaluation)를 기반으로 하는 self-consistency, semantic entropy, P(True)를 포함한 광범위한 신뢰도 베이스라인(confidence baselines)을 촉발했습니다. 반복적 치환(iterated substitution)으로 구축된 시스템을 위한 형식주의인 오페라드 이론(Operad theory)은 상호 보완적인 진단 방법을 제시합니다. 즉, 구성적 질의(compositional query)에 대한 모델의 직접적인 답변은 동일한 질의에 대해 명시된 분해(decomposition)를 구성하여 생성한 답변과 일치해야 한다는 것입니다. 우리는 이 아이디어를 질문당 신호인 오페라드 일관성(operadic consistency, OC)으로 구체화했습니다. 4B에서 671B 파라미터 규모의 12개 지시어 미세 조정(instruction-tuned) LLM(오픈 웨이트 및 폐쇄형 소스)을 대상으로 4개의 멀티홉 QA(multi-hop QA) 데이터셋에서 테스트한 결과, OC는 모든 데이터셋에서 정확도와 강력한 상관관계를 보였으며(Pearson $r ext{ } \in \text{ } [0.86, 0.94]$, 모든 $p \leq 0.0004$), 4개 데이터셋 모두에서 균일하게 $r \geq 0.85$를 기록한 유일한 신호였습니다. Chain-of-thought self-consistency (CoT-SC; Wang et al., 2023)는 HotpotQA와 DROP에서는 OC와 유사한 성능을 보였으나($r = 0.93, 0.87$), MuSiQue와 StrategyQA에서는 $r \approx 0.45$로 떨어졌습니다. 질문 단위 수준에서 OC는 모든 데이터셋에서 CoT-SC 및 semantic entropy 이상의 정보를 제공하며(OC 계수에 대해 cluster-robust $p \leq 10^{-16}$), 이 결론은 구성된 분해 인식(decomposition-aware) 베이스라인을 추가로 통제하더라도 견고하게 유지되었습니다($p \leq 10^{-13}$). 동일한 비용인 $K = 3$ 예산에서 이 신호는 튜닝된 CoT-SC 베이스라인 대비 선택적 예측(selective-prediction) 성능(고정된 커버리지에서의 정확도)을 향상시켰습니다(AUARC는 +0.086에서 +0.096 상승, AUROC는 +0.092에서 +0.164 상승; 모든 셀에서 95% 신뢰 구간(CIs)이 0을 포함하지 않음). 분해가 모델 자신의 chain of thought에서 추출되는 5개의 프런티어 사고 모델(frontier thinking models)의 경우, 동일한 비용 비교에서 테스트된 16개(데이터셋, 예산, 지표) 셀 모두에서 선택적 예측 점 추정치(point-estimate) 상승을 보였으며, 16개 중 12개 셀에서 95% 신뢰 구간이 0을 포함하지 않았습니다.