'진실된 진실'이 아닐 때: 환각 탐지를 위한 자동 레이블링

원문 발행 2026. 11. 03. 20:20원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

LLM의 환각은 신뢰성 저해의 주요 과제이며, 이를 탐지하기 위한 정답(ground-truth) 레이블 확보가 핵심 난제로 남아있습니다. 본 연구는 자동 유사도 기반 판정기(예: BLEURT)를 이용한 레이블링이 한계를 가짐을 입증했습니다. 실험 결과, QGen-9B가 낮은 오분류율을 보인 반면, BLEURT 등은 높은 비율을 보여 신뢰할 수 있는 새로운 판정 방법의 필요성을 강조합니다.

핵심 포인트

LLM 환각 탐지에서 정답 레이블 확보는 여전히 핵심적인 과제입니다.
BLEURT와 같은 자동 유사도 기반 레이블링은 잠재적 신뢰성 문제가 있습니다.
탐지기 성능은 어떤 감독 판정기를 선택하느냐에 따라 크게 달라집니다.
QGen-9B가 낮은 오분류율을 달성했으나, BLEURT는 높은 비율을 보였습니다.

대규모 언어 모델(LLMs)의 환각은 여전히 주요 과제로 남아 있습니다. LLMs는 오해를 불러일으키거나, 사실적으로 부정확하거나, 검증할 수 없는 정보를 생성하여 신뢰성과 안정성을 저해할 수 있기 때문입니다. 하지만 환각 탐지기 평가에 있어 신뢰할 수 있는 정답(ground-truth) 레이블을 확보하는 것은 여전히 핵심적인 과제입니다. 최근 연구들은 BLEURT와 같은 유사도 측정 지표를 사용하여 모델 생성 결과와 참조 답변을 비교함으로써 레이블을 자동으로 구성하는 경우가 많습니다. 이는 BLEURT의 영어 중심 감독 방식, 무한한 점수 범위, 그리고 사실성 측정 지표가 아닌 유사도 측정 지표로 설계된 특성에도 불구하고, BLEURT 유사도를 환각의 대리 지표(proxy)로 간주하게 만듭니다. 이 때문에 임계값 기반의 정답 구성은 잠재적으로 신뢰하기 어려울 수 있습니다. 저희는 15개의 자동 감독 판정기, 7개의 환각 탐지 기준 모델(baseline), 2개의 생성 모델, 2개의 QA 데이터셋, 그리고 5개 언어를 사용하여 포괄적인 실험을 수행했으며, 탐지기 성능이 어떤 감독 판정기를 선택하느냐에 따라 크게 달라진다는 것을 입증했습니다. 인간의 검증은 레이블링 신뢰성에서 상당한 차이를 보여주었으며, QGen-9B가 전반적으로 가장 낮은 오분류율(12.86%)을 달성한 반면, BLEURT와 BLEURT-n은 각각 47.23%와 47.32%의 비율을 보였습니다. 저희의 연구 결과는 자동 유사도 기반 레이블링의 한계를 강조하며, 의미적 및 사실적 정확성을 더 잘 포착할 수 있는 보다 신뢰할 수 있는 판정 방법이 필요함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

'진실된 진실'이 아닐 때: 환각 탐지를 위한 자동 레이블링

요약

핵심 포인트

댓글