Logprobs를 넘어: LLM 기반 문서 필드 추출을 위한 다중 신호 신뢰도 엔진

요약

LLM 기반 문서 필드 추출 시 신뢰도를 정확히 측정하기 위한 새로운 엔진인 ExtractConf를 제안합니다. Hunter와 Mapper라는 두 가지 상이한 추출 방식을 활용하여 발생하는 불일치를 분석함으로써, 기존 로그 확률 방식보다 훨씬 정교한 신뢰도 추정이 가능함을 입증했습니다.

핵심 포인트

• Hunter와 Mapper 방식의 비대칭적 실패 모드를 활용한 신뢰도 추정
• Logprobs 및 언어화된 신뢰도의 한계를 극복하는 다중 신호 엔진 구축
• DocILE 데이터셋에서 0.928 ROC AUC 달성 및 선택적 예측 위험 70% 감소
• 80% 커버리지에서 99.1%의 정확도를 확보하여 실질적 자동화 가능성 제시