CommunityFact: 야생에서의 오정보 탐지를 위한 동적, 다국어, 다중 도메인 벤치마크
요약
야생 환경의 오정보 탐지를 위해 커버리지와 재배포 가능성을 갖춘 새로운 벤치마크 CommunityFact를 제안합니다. 5개 언어와 2개 도메인을 대상으로 10개의 LLM을 평가하여 웹 검색 기능의 중요성과 모델별 출처 선택 정책의 한계를 분석했습니다.
핵심 포인트
- 동적이고 다국어적인 오정보 탐지 벤치마크 CommunityFact 공개
- 웹 검색 기능이 LLM의 오정보 검증 성능 향상에 가장 큰 기여
- LLM의 출처 선택 정책과 인간 평가자 간의 체계적 불일치 발견
- 검색 확장 및 가지치기를 통한 모델 성능 격차 해소 가능성 제시
오정보 (Misinformation) 검증은 점점 더 공개적이고, 빠르게 변화하며, 다국어적인 온라인 환경에서 발생하고 있으며, 이러한 환경에서 정적인 벤치마크 (static benchmarks)는 모델의 신뢰성을 불완전하게 측정합니다. 우리는 커버리지 (coverage), 세분성 (granularity), 그리고 재배포 가능성 (redistributability)이라는 세 가지 주요 목표를 가진, 야생에서의 오정보 탐지를 위한 갱신 가능한 벤치마크인 CommunityFact를 소개합니다. 이번 릴리스에는 5개 언어와 2개 도메인에 걸친 15,992개의 독립적인 주장 (claims)이 포함되어 있습니다. 우리는 사고 (thinking) 및 웹 검색 (web-search)을 포함하여 다양한 추론 시간 능력 (inference-time capabilities) 하에서 10개의 LLM (Large Language Models)을 평가합니다. 우리의 결과는 폐쇄형 입력 (closed-input) 검증은 여전히 도전적이며, 웹 접속이 가장 큰 이득을 가져다주고, 웹 기능이 활성화된 LLM의 출처 선택 정책 (source-selection policies)이 인간 Community Notes 평가자들이 수렴하는 출처와 체계적으로 불일치함을 보여줍니다. 이는 검색 확장 (retrieval expansion) 또는 가지치기 (pruning)와 같은 모델별 메커니즘을 통해 좁혀지는 격차입니다. 우리는 더 나아가 언어-도메인 슬라이스 (language-domain slices)와 웹 기능 시스템에 의해 사용되는 증거 생태계 (evidence ecosystems) 전반에 걸쳐 상당한 변동이 있음을 발견했습니다. 평가를 넘어, CommunityFact는 Community Notes를 새로운 주장에 대한 사실 검증을 개선할 수 있는 주장 조건부 출처 제안기 (claim-conditioned source suggesters)를 위한 학습 신호 (training signal)로 포지셔닝합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기