"위치는 알지만 내용은 모르는": 오픈 LLM의 하디스 회상을 위한 이중 언어 환각 벤치마크

대규모 언어 모델(LLMs)은 특정 하디스(예언자 무함마드(peace be upon him)의 기록된 말씀과 행동)를 포함한 종교적 지식에 대한 질의응답을 위해 점점 더 활용되고 있습니다. 개방형 생성과는 달리, 하디스 회상(Hadith recall)은 높은 위험도가 따르는 검증 가능한 작업입니다. 즉, 참고 자료(컬렉션, 장, 하디스 번호)는 정확히 하나의 정답 텍스트를 가지고 있으며, 이로부터의 모든 편차는 진본 경전으로 오인될 수 있는 조작물에 해당합니다.

본 연구는 다섯 개의 오픈 가중치(open-weight), 로컬 배포가 가능한 언어 모델(Mistral-7B, Gemma3-4B, Jais-7B, ALLaM-7B, Phi4-mini-3.8B)을 대상으로 여섯 가지 주요 순니파 하디스 컬렉션 전체에 걸쳐 이중 언어(영어/아랍어) 벤치마크를 도입했습니다. 각 컬렉션당 500개의 하디스를 샘플링하여 (모델당 언어별 3,000개, 총 30,000개 응답) 테스트를 진행했습니다. 각 모델에게는 참고 문헌 정보만 제공되었고, 검색 증강(retrieval augmentation) 없이 정확한 하디스 텍스트를 재현하도록 요청받았으며, 그 결과는 어휘적 충실도(lexical fidelity, BLEU)와 의미론적 충실도(semantic fidelity, 다국어 코사인 유사도)로 점수화되었고, 거부 응답은 별도로 플래그 지정되었습니다. 다섯 개 모델과 두 언어 전체에 걸쳐 30,000개의 응답 중 높은 어휘적 충실도와 높은 의미론적 충실도를 모두 달성한 경우는 0%였습니다. 즉, 출처 텍스트와 정확하고 검증 가능한 일치점을 보인 경우가 없었습니다. 아랍어 응답이 영어 응답보다 전반적으로 더 낮은 성능을 보였습니다.

이러한 발견은 검색 기반의 근거(retrieval grounding) 없이 사용되는 현재의 오픈 가중치 LLM들이 정확한 종교 텍스트 회상에 있어 신뢰할 수 없고 잠재적으로 위험한 출처임을 시사하며, 이슬람 학문 분야에 배포될 때는 매개변수 메모리(parametric memory)보다는 검증된 코퍼스 위에서의 검색 증강 생성(retrieval-augmented generation)이 의무화되어야 함을 보여줍니다. 전체 코드, 프롬프트, 평가 파이프라인 및 점수화된 출력은 https://github.com/dayam8696/Hadith-Hallucination-Benchmark에서 공개적으로 이용 가능합니다.