ASTRA-QA: 문서 기반 추상 질문 답변을 위한 벤치마크

요약

본 기술 기사는 문서 기반의 추상적인 질문 답변(Abstract QA) 능력을 평가하기 위한 새로운 벤치마크인 ASTRA-QA를 소개합니다. 기존 벤치마크들이 복잡한 정보 종합 및 일관성 있는 답변을 요구하는 추상적 질문 유형을 제대로 지원하지 못했던 문제를 해결하고자 합니다. ASTRA-QA는 학술 논문과 뉴스 문서를 포함한 869개의 QA 인스턴스로 구성되어 있으며, 주제 커버리지와 미지원 콘텐츠 회피 여부를 직접적으로 평가할 수 있는 명시적인 주석을 제공하여 RAG 시스템의 성능을 보다 정교하게 진단합니다.

핵심 포인트

• ASTRA-QA는 문서 기반 추상 질문 답변(Abstract QA)에 특화된 새로운 벤치마크입니다.
• 869개의 QA 인스턴스는 학술 논문과 뉴스 문서를 아우르며, 다섯 가지 추상적 질문 유형을 다룹니다.
• 평가 주석에는 '답변 주제 집합'과 '선별된 미지원 주제'가 포함되어 있어 정교한 평가가 가능합니다.
• 이 벤치마크는 답변의 핵심 포인트 커버리지와 환각(hallucination) 여부를 직접적으로 진단하여 RAG 시스템의 강건성을 검증할 수 있게 합니다.