Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 장문 생성 시 발생하는 환각 문제를 해결하기 위해, 주장의 불확실성에 따라 검증 기준을 조정하는 FACTOR 프레임워크를 제안합니다. FACTOR는 불확실성 추정 및 적응형 검증을 통해 검증 비용을 최적화하면서도 사실성을 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 유창한 장문 텍스트를 생성하지만, 종종 근거 없는 사실적 주장 (factual claims)을 추가합니다. 기존의 검증 기술은 외부 증거에 생성 내용을 근거(grounding)함으로써 사실성을 향상시킵니다. 그러나 환각 (hallucination) 위험의 차이에도 불구하고, 대개 동일한 검증 정책이 모든 주장에 적용됩니다. 우리는 주장의 수준별 불확실성 (uncertainty)에 따라 검증 기준을 조정하는 추론 시간 모델인 \textit{FACTOR} (\textit{FACTuality-Oriented Risk-aware Verification})를 제안합니다. FACTOR는 불확실성 추정 (uncertainty estimation), 적응형 언어 추론 검증 (adaptive language inference verification), 그리고 후보 재순위화 (candidate re-ranking)를 결합하여 검증 노력이 가장 필요한 곳에 할당합니다. 우리는 FactScore 벤치마크에서 \textit{FACTOR}를 평가하여, 적응형 검증이 검증 비용을 줄이는 동시에 사실성을 향상시킨다는 것을 보여줍니다. 나아가 이러한 이득의 주요 동인을 식별하기 위해 다양한 절제 연구 (ablation studies)를 수행합니다. 우리의 결과는 장문 생성에서 사실성을 향상시키기 위한 \textit{FACTOR}의 효과적이고 모델 불가지론적 (model-agnostic)인 성능을 보여줍니다.