인간의 시험 전략을 활용하여 언어 모델의 근거 기반 주장 사실성 검증 학습시키기

근거 기반 주장 사실성 (Grounded claim factuality) 검증은 검색 증강 생성 (Retrieval-Augmented Generation, RAG)과 같은 대규모 언어 모델 (Large Language Model, LLM) 애플리케이션에서 매우 중요하며, 이는 사용자가 생성된 출력의 정확성을 평가하는 데 도움을 줍니다. 함의 분류기 (Entailment classifiers)를 사용하는 기존 지표들은 데이터셋별 임계값 조정 (Threshold tuning)이 필요한 반면, LLM 기반 방식들은 종종 직접적인 프롬프팅 (Direct prompting)을 사용하는데, 이는 LLM의 추론 능력을 충분히 활용하지 못한다는 단점이 있습니다. 본 연구에서는 근거 기반 주장 사실성 검증을 참/거짓 독해 (True/false reading comprehension) 과제로 공식화하고, 효율적인 추론을 위해 명시적인 시험 전략 (Test-taking strategies)을 LLM에 프롬프팅함으로써 이 문제를 해결합니다. 우리의 방법론은 가이드가 없는 개방형 추론 (Open-ended reasoning)과 비교했을 때 토큰 사용량을 80% 이상 줄이며, 두 가지 사실성 벤치마크 (Factuality benchmarks)에서 더 비용이 많이 드는 대안들과 경쟁력 있는 성능을 달성하였고, 그중 하나에서는 새로운 SOTA (State of the Art)를 기록했습니다. 추론 비용을 더욱 절감하기 위해, 우리는 검증 파이프라인에서 LLM을 대체할 소형 언어 모델 (Small Language Models, SLM)을 학습시킵니다. 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 자기 수정 (Self-revision) 메커니즘을 사용하여, SLM은 사실성 판단 능력을 향상시키는 법을 학습합니다. 실험 결과에 따르면, 결과물인 SLM은 강력한 베이스라인 (Baselines)과 대등한 성능을 보이면서도, 낮은 추론 비용과 해석 가능성 (Interpretability)을 지원하는 근거 논거 (Supporting rationales) 생성 능력을 결합하였습니다. 코드와 데이터셋은 승인 시 공개될 예정입니다.