Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
아랍어 LLM의 환각 탐지 및 사실 검증을 위한 고품질 데이터셋인 HalluTruthQA-4K를 소개합니다. 이 코퍼스는 이슬람 지식, 역사, 과학 등 전문 도메인을 포함하며, 오류 구간과 계층적 유형에 대한 세밀한 주석을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM)은 유창한 아랍어 답변을 생성할 수 있지만, 식별하고 검증하기 어려운 사실적 오류를 유발할 수 있습니다. 기존의 아랍어 환각 (hallucination) 리소스는 종종 전체 응답에 대해 환각 여부를 나타내는 이진 라벨 (binary label)을 부여하지만, 정확한 오류 내용, 오류의 원인 또는 올바른 사실적 답변에 대한 정보는 제한적입니다. 우리는 이슬람 지식, 역사, 과학, 지리라는 네 가지 지식 집약적 도메인에 걸쳐 전문가가 큐레이션한 4,000개의 아랍어 질의응답 사례를 포함하는 HalluTruthQA 리소스의 확장 버전인 HalluTruthQA-4K를 제시합니다. HalluScoring 2026 공유 태스크 (shared task)의 Track 2를 위한 공식 데이터셋 역할을 하는 HalluTruthQA-4K는 기존 코퍼스를 4,000개의 사례로 확장합니다. 각 사례는 아랍어 질문과 모델이 생성한 응답, 검증된 참조 답변, 그리고 다섯 개의 그럴듯한 방해 요소 (distractors)를 쌍으로 구성합니다. 환각이 발생한 응답에는 추가적으로 문자 수준의 오류 구간 (erroneous spans), 사람이 작성한 설명, 그리고 계층적 환각 유형 (hierarchical hallucination types)이 주석 처리됩니다. 이 코퍼스는 1,643개의 환각 응답과 2,357개의 비환각 응답을 포함하며, 1,843개의 주석 처리된 오류 구간을 포함합니다. 우리는 질문 선택, 제어된 답변 생성, 후보 구성, 전문가 주석, 독립적 검증, 판정 (adjudication), 품질 관리를 포함한 리소스 구축 및 주석 방법론을 설명합니다. 또한 주석 가이드라인, 분류 체계 (taxonomy), 데이터 형식, 주석자 간 일치도 (inter-annotator agreement), 코퍼스 통계에 대해서도 기록합니다. HalluTruthQA-4K는 환각 탐지, 구간 수준의 오류 위치 파악 (span-level error localization), 설명 생성, 사실 검증, 그리고 아랍어 언어 모델의 사실적 신뢰성에 대한 광범위한 평가를 위한 재사용 가능한 리소스를 제공합니다.