대규모언어 모델(LLMs)이 정보 전달의 핵심 수단으로 자리 잡으면서, 답변의 사실적 정확성을 확보하는

요약

대규모 언어 모델(LLMs)이 정보 제공의 주요 수단으로 사용되면서 사실적 정확성 확보가 중요해졌습니다. 이에 DeepMind는 Kaggle과 협력하여 'FACTS Benchmark Suite'을 공개했습니다. 이 벤치마크는 기존 FACTS Grounding Benchmark를 업데이트한 v2와 함께, 모델의 능력을 다각도로 측정하는 네 가지 새로운 평가 영역을 포함합니다. 주요 테스트 항목으로는 내부 지식 기반 질문(Parametric), 웹 검색 도구 활용 능력(Search), 이미지 기반 질의응답(Multimodal) 등이 새

핵심 포인트

• FACTS Benchmark Suite은 LLM의 사실성 평가를 위해 4가지 전문 영역을 포괄적으로 측정합니다.
• 새로운 벤치마크는 Parametric (내부 지식), Search (웹 검색 도구), Multimodal (이미지 기반) 능력을 포함하여 모델의 취약점을 심층 분석합니다.
• Gemini 3 Pro가 전체 FACTS Score에서 선두를 차지했으며, 특히 Search 및 Parametric 영역에서 큰 성능 향상을 보였습니다.
• 모든 평가된 최신 LLM들이 아직 70% 미만의 정확도를 보여, 사실성 개선을 위한 여지가 크다는 것을 시사합니다.