다국어 환각 평가 벤치마크: MultiWikiQHalluA

요약

기존의 환각(hallucination) 평가는 영어에 편중되어 있어 다국어 적용에 한계가 있습니다. 본 연구는 MultiWikiQA 데이터셋을 활용하여 306개 언어의 합성 환각 데이터셋을 구축하고, 이를 기반으로 유럽 언어 30개에 대한 토큰 단위 환각 분류기를 개발했습니다. 이 분류기를 사용하여 여러 대규모 언어 모델(LLM)의 다국어 환각률을 평가한 결과, 일반적으로 모델 크기가 클수록 성능이 우수하며, 저자본 언어일수록 환각률이 높아지는 경향을 확인했습니다.

핵심 포인트

• 환각 평가는 영어 중심에서 벗어나 다국어 지원으로 확장되어야 합니다.
• MultiWikiQA 데이터셋과 LettuceDetect 프레임워크를 사용하여 306개 언어의 합성 환각 데이터를 생성했습니다.
• 모델 크기가 클수록 (예: cogito-v1-preview-qwen-32B, llama-70B) 다국어 환경에서 낮은 환각률을 보였습니다.
• 환각률은 저자본 언어일수록 높아지는 경향이 있으며, 특히 아이슬란드어와 같은 특정 언어에서 두드러집니다.