대규모 언어 모델(LLMs)이 정보 전달의 핵심 수단으로 자리 잡으면서, 답변의 사실적 정확성을 확보하는 것이 매우 중요해졌습니다. 이에 DeepMind는 Kaggle과 협력하여 'FACTS Benchmark Suite'을 공개하며 LLM의 사실성 평가에 새로운 표준을 제시했습니다.

이 벤치마크 스위트는 기존 FACTS Grounding Benchmark를 업데이트한 v2와 함께 총 네 가지 전문적인 테스트 영역으로 구성되었습니다. 각 영역은 모델이 특정 상황에서 얼마나 정확하게 정보를 처리하는지 측정합니다.

주요 평가 항목:

• Parametric Benchmark: 외부 도구 없이 내부 지식만으로 사실적 질문에 답하는 능력을 측정합니다. 위키피디아 같은 표준 자료를 기반으로 한 '잡학(trivia style)' 질문들이 주를 이룹니다.
• Search Benchmark: 웹 검색 도구를 활용하여 정보를 검색하고 종합하는 능력을 평가합니다. 여러 웹페이지에서 순차적으로 사실을 추출해야 하는 복합적인 질문에 강점을 보입니다.
• Multimodal Benchmark: 이미지와 관련된 질문에 대해 사실적으로 정확한 텍스트를 생성할 수 있는 시각적 이해 능력을 테스트합니다.

이 외에도 업데이트된 FACTS Grounding v2는 주어진 문맥(context) 내에서 답변의 근거를 찾는 능력을 평가합니다. 총 3,513개의 예시로 구성된 이 스위트는 공용 및 비공개 세트를 나누어 관리되며, Kaggle이 리더보드를 운영합니다.

최신 LLM들을 대상으로 한 테스트 결과, Gemini 3 Pro가 전체 FACTS Score에서 가장 높은 성능(68.8%)을 기록했습니다. 특히 이전 버전 대비 Search와 Parametric 영역에서 큰 폭의 개선을 보였으나, 전반적으로 평가된 모델들이 아직 70% 미만의 정확도를 보여 지속적인 연구 개발이 필요함을 강조하고 있습니다.