벵골어(Bengali)가 세계에서 여섯 번째로 많이 사용되는 언어임에도 불구하고, 이전에는 벵골어를 사용하는 대규모 언어 모델(LLMs)의 환각(hallucination)을 체계적으로 평가한 연구가 없었습니다. 우리는 생성적 질의응답(Generative Question Answering, GQA), 벵골어-영어 코드 혼합 질의응답(Bangla-English Code-Mixed QA), 요약(Summarization), 그리고 추론(Reasoning)의 네 가지 작업을 다루는 벵골어용 세밀한 환각 평가 프레임워크인 BenHalluEval을 소개합니다. 우리는 기존의 세 가지 벵골어 데이터셋에서 추출한 12가지 작업별 환각 유형에 대해 GPT-5.4를 사용하여 12,000개의 환각 후보(hallucinated candidates)를 구축하였으며, 추론 중심, 다국어, 벵골어 중심 범주를 아우르는 7개의 LLM을 평가했습니다. 평가는 정답 인스턴스에 대한 거짓 양성률(false-positive rate)을 독립적으로 측정하는 트랙 A(Track A)와 환각 후보에 대한 환각 탐지율(hallucination detection rate)을 측정하는 트랙 B(Track B)의 이중 트랙 프로토콜 하에 진행되었습니다. 두 가지 실패 모드 모두에 대해 공동으로 페널티를 부여하고 균일한 응답 편향(uniform response bias)으로 인한 점수 부풀리기를 방지하기 위해, 우리는 모델과 작업에 따라 7.72%에서 55.42% 사이의 범위를 갖는 이중 트랙 보정 지표인 BenHalluScore를 제안하며, 이를 통해 환각 보정(hallucination calibration)에서 상당한 차이가 있음을 밝혀냈습니다. 완화 전략(mitigation strategy)으로 적용된 생각의 사슬(Chain-of-thought) 프롬프팅은 응답 분포를 변화시키지만, 환각 식별 능력을 일관되게 향상시키지는 못했습니다. BenHalluEval은 벵골어를 위한 최초의 전용 환각 벤치마크를 구축하며, 저자원 언어(low-resource language) 환경에서 단일 트랙 및 프롬프팅 전용 평가 방식의 부적절함을 강조합니다. 데이터셋과 코드는 https://anonymous.4open.science/r/BanglaHalluEval-EB77 에서 확인할 수 있습니다.