Logprobs를 넘어: LLM 기반 문서 필드 추출을 위한 다중 신호 신뢰도 엔진

금융 조정(financial reconciliation), 컴플라이언스 검증(compliance verification), 조달 자동화(procurement automation)를 포함한 중대한 문서 처리 파이프라인에서, LLM 추출이 눈에 띄지 않게 틀리는 것은 추출 결과가 아예 없는 것보다 더 위험합니다. 핵심 과제는 추출 정확도(extraction accuracy) 그 자체뿐만 아니라 신뢰할 수 있는 신뢰도 추정(confidence estimation)입니다. 즉, 필드별로 추출된 결과가 자동화를 위해 신뢰할 수 있는지, 아니면 사람의 검토로 넘겨야 하는지를 아는 것입니다. 토큰 수준의 로그 확률(log-probabilities), 언어화된 신뢰도(verbalized confidence), 그리고 다중 샘플 자기 일관성(multi-sample self-consistency)은 모두 실제 임계값(thresholds)에서 전부 긍정적인 방향으로 쏠리는 경향이 있어, 신뢰할 수 있는 추출과 신뢰할 수 없는 추출 사이의 확실한 구분을 제공하지 못합니다.

우리는 동일한 문서에 대한 구조적으로 다른 두 가지 읽기 방식을 기반으로 신뢰도 추정을 수행하는 교차 도메인(cross-domain), 필드 불가지론적(field-agnostic) 신뢰도 엔진인 ExtractConf를 제안합니다. 필드 가이드 방식인 Hunter 호출은 스키마 슬롯 완성 압박(schema-slot completion pressure) 하에 각 필드를 추출하며, 문서 가이드 방식인 Mapper 호출은 전체적으로 스캔하여 문서 내용에 근거한 값을 찾아냅니다. 이러한 비대칭성은 서로 다른 실패 모드(failure modes)를 생성합니다. Hunter는 존재하지 않는 필드에 대해 값을 환각(hallucinates)하는 반면, Mapper는 시각적으로 두드러지지 않는 값을 놓칩니다. 이들의 불일치(disagreement)는 독립적인 정보를 제공합니다.

ExtractConf는 호출 간의 불일치, LLM 내부의 불확실성(uncertainty), OCR, 이미지 품질, 그리고 공간적 레이아웃(spatial layout)을 결합하여 도메인별 규칙이나 재학습이 필요 없는 분류기(classifier)를 구축합니다. DocILE(55개 필드 송장, 26% 실패율) 데이터셋에서 ExtractConf는 0.928 ROC AUC를 달성하였으며, logprob-mean 대비 선택적 예측 위험(selective prediction risk)을 70% 감소시켰습니다. 80%의 커버리지(coverage)에서 정확도는 99.1%에 도달하여 실질적인 인간 참여형(human-in-the-loop) 워크플로우를 가능하게 합니다. CORD 영수증에 대한 제로샷 전이(Zero-shot transfer)에서는 0.858 AUC를 달성하였으며, 경량 Lasso 재보정(recalibration)을 통해 ECE를 89%, Brier를 43% 감소시켜 이러한 신호들이 문서 도메인 전반에 걸쳐 일반화됨을 확인했습니다.