Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 근거 기반 주장 사실성 검증을 위해 인간의 시험 전략을 활용한 새로운 방법론을 제안합니다. 명시적 프롬프팅을 통해 토큰 사용량을 80% 이상 절감하면서도 SOTA 성능을 달성했으며, 이를 소형 언어 모델(SLM)로 전이하여 효율성을 극대화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기근거 기반 주장 사실성 (Grounded claim factuality) 검증은 검색 증강 생성 (Retrieval-Augmented Generation, RAG)과 같은 대규모 언어 모델 (Large Language Model, LLM) 애플리케이션에서 매우 중요하며, 이는 사용자가 생성된 출력의 정확성을 평가하는 데 도움을 줍니다. 함의 분류기 (Entailment classifiers)를 사용하는 기존 지표들은 데이터셋별 임계값 조정 (Threshold tuning)이 필요한 반면, LLM 기반 방식들은 종종 직접적인 프롬프팅 (Direct prompting)을 사용하는데, 이는 LLM의 추론 능력을 충분히 활용하지 못한다는 단점이 있습니다. 본 연구에서는 근거 기반 주장 사실성 검증을 참/거짓 독해 (True/false reading comprehension) 과제로 공식화하고, 효율적인 추론을 위해 명시적인 시험 전략 (Test-taking strategies)을 LLM에 프롬프팅함으로써 이 문제를 해결합니다. 우리의 방법론은 가이드가 없는 개방형 추론 (Open-ended reasoning)과 비교했을 때 토큰 사용량을 80% 이상 줄이며, 두 가지 사실성 벤치마크 (Factuality benchmarks)에서 더 비용이 많이 드는 대안들과 경쟁력 있는 성능을 달성하였고, 그중 하나에서는 새로운 SOTA (State of the Art)를 기록했습니다. 추론 비용을 더욱 절감하기 위해, 우리는 검증 파이프라인에서 LLM을 대체할 소형 언어 모델 (Small Language Models, SLM)을 학습시킵니다. 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 자기 수정 (Self-revision) 메커니즘을 사용하여, SLM은 사실성 판단 능력을 향상시키는 법을 학습합니다. 실험 결과에 따르면, 결과물인 SLM은 강력한 베이스라인 (Baselines)과 대등한 성능을 보이면서도, 낮은 추론 비용과 해석 가능성 (Interpretability)을 지원하는 근거 논거 (Supporting rationales) 생성 능력을 결합하였습니다. 코드와 데이터셋은 승인 시 공개될 예정입니다.