Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
복합 문장을 검증 가능한 주장으로 분해하는 새로운 프레임워크인 Credence를 제안합니다. 기존 Jaccard 지표의 한계를 극복하기 위해 Semantic-F1 지표를 도입하고, 수정 파이프라인의 수렴성을 수학적으로 증명했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기복합 문장을 원자적이고 검증 가능한 주장(claim)으로 분해하는 것은 신뢰할 수 있는 자동 사실 확인(fact-checking)을 위한 전제 조건입니다. 기존 연구들은 토큰 중첩(Jaccard) 지표에 의존해 왔는데, 이는 바꾸어 말하기(paraphrastic)가 적용된 주장들에 대해 분해 품질을 체계적으로 과소평가하며, 수정 루프(repair loop)에 대한 공식적인 종료 분석(termination analysis)이 부족했습니다. 우리는 이러한 두 가지 단점을 모두 해결하는 수정된 주장 분해 및 평가 프레임워크인 Credence를 제시합니다. 우리의 기여는 다음과 같습니다: (1) Semantic-F1: 우리는 Jaccard의 페널티 문제를 해결하고 다운스트림 사실 확인 정확도를 향상시키는 BGE-large 코사인 유사도 충실도(fidelity) 지표를 사용합니다; (2) 수렴 정리(Convergence theorems): 우리는 수정 파이프라인의 네 가지 속성을 공식적으로 규정하여, 오라클 파서(oracle parser) 가정하에 규칙 기반 수정(rule-based repair)이 단조적(monotone)이며 유한하게 종료됨을 입증합니다; LLM 기반 자기 수정(self-repair)은 증명 가능하게 비단조적(non-monotone)이며 조기 종료 가드(early-exit guard)가 필요합니다; (3) 교차 도메인 일반화 측정을 위해 소셜 미디어, 백과사전, 뉴스 도메인을 아우르는 세 가지 평가 벤치마크; (4) 4개의 분해 모델(3.8B-12B)과 폐쇄형 API 모델에 걸친 멀티 모델 벤치마킹. SocialClaimSplit, WikiSplitBench, ClaimDecompBench에 대한 실험 결과, Semantic-F1이 Jaccard-F1보다 15-32pp 더 높은 성능을 보였습니다. EPR은 SocialClaimSplit 및 WikiSplitBench에서 0.94에서 1.00 사이로 나타났으나, ClaimDecompBench는 더 어려운 뉴스 도메인 구조로 인해 더 낮은 기본 EPR(최저 0.824) 사례를 포함합니다. 또한 규칙 기반 수정(rule-repair)은 충실도를 저하시키지 않으면서 기본 모델 대비 원자성 위반율(Atomicity Violation Rate, AVR)을 47-100% 감소시킵니다.