대규모 다국어 팩트체크: 미세 조정된 경량 모델 vs LLM

우리는 다양한 언어에 걸쳐 높은 처리량(high-throughput)과 낮은 지연 시간(low-latency) 작동을 위해 설계된 Factiverse에 배포된 다국어 팩트체크(multilingual fact-checking) 시스템을 선보입니다. 이 시스템은 주장 탐지(claim detection), 증거 검색 및 재순위화(evidence retrieval and re-ranking), 그리고 진위 예측(veracity prediction)의 세 단계로 구성된 모듈형 파이프라인을 따릅니다. 우리는 주장 탐지를 위해 XLM-RoBERTa-Large를, 3개 라벨 입장 분류(Supports/Refutes/Mixed)를 위해 mmBERT-base를, 그리고 주장-증거 매칭을 위해 SetFit 기반의 다국어 재순위화 모델(multilingual re-ranker)을 미세 조정(fine-tune)했습니다. 우리는 이러한 구성 요소들을 GPT-5.2, Claude Opus 4.6, Qwen3-8b를 포함한 강력한 LLM 베이스라인과 비교합니다. 주장 탐지를 위한 114개 언어와 진위 예측을 위한 28개 언어에 걸친 실제 운영 데이터에서의 실험 결과, 작업 특화형 미세 조정(task-specific fine-tuning)이 강력하고 안정적인 다국어 성능을 제공하며, 미세 조정된 검색 모델이 최신 독점 임베딩(proprietary embeddings)과 경쟁할 만한 수준임을 보여줍니다. 동일 하드웨어에서의 지연 시간 측정 결과, 인코더 기반(encoder-based) 구성 요소에서 큰 효율성 이득이 있음을 추가로 확인하였으며, 이는 비용과 개인정보 보호 제약이 엄격한 운영 환경 배포에서의 사용을 뒷받침합니다. 종합적으로, 경량화된 미세 조정 및 자체 호스팅 모델(self-hosted models)은 대규모 다국어 팩트체크를 위한 실용적이고 효과적인 기반으로 남아 있습니다. 이 연구에 사용된 코드와 데이터는 https://github.com/factiverse/factcheck-editor 에서 확인할 수 있습니다.