Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
아랍어 이슬람 질의응답에서 LLM의 환각을 탐지하고 검증된 답변을 복구하는 시스템을 제안합니다. Gemma-4-12B-it 모델을 미세 조정하여 환각 여부 판단과 최적의 답변 선택을 수행하며 높은 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (Large language models)은 이슬람 관련 질문에 대해 유창한 답변을 생성할 수 있지만, 식별하기 어려운 사실적 오류를 도입할 수 있습니다. 본 논문은 \textsc{HalluScoring 2026} Task 2.1, \textit{이슬람 환각 탐지 및 진실 찾기 (Islamic Hallucination Detection and Find the Truth)}를 위한 우리의 시스템을 제시합니다. 이 과제는 통합된 2단계 예측을 요구합니다: LLM에 의해 생성된 아랍어 답변이 환각(hallucinated)인지 여부를 결정하고, 서로 밀접하게 관련된 6개의 후보 옵션 중에서 검증된 답변을 선택하는 것입니다. 우리는 공유된 과제에서 제공한 이슬람 지식 데이터셋을 사용하며, 여기에는 341개의 환각 답변과 259개의 비환각 답변을 포함하여 총 600개의 질문-답변 인스턴스가 포함되어 있습니다. 우리의 시스템은 미세 조정된 (fine-tuned) \texttt{google/gemma-4-12B-it} 모델을 기반으로 하며, 추론 (inference) 과정에서 결정론적 디코딩 (deterministic decoding)을 사용합니다. 생성된 출력은 환각 레이블과 선택된 옵션을 추출하기 위해 정규화됩니다. 이 시스템은 환각 탐지에 대해 0.928의 Macro-F1 점수와 0.935의 레이블 정확도를 달성하였으며, 답변 선택에 대해서는 0.895의 옵션 정확도를 달성했습니다. 이러한 결과는 0.912의 결합 점수를 산출하며, 과제의 두 단계 모두에서 강력한 성능을 입증합니다. 상대적으로 낮은 옵션 선택 정확도는 검증된 답변을 그럴듯한 대안들로부터 구별하는 것이 환각된 응답을 탐지하는 것보다 여전히 더 도전적인 과제임을 나타냅니다.