HalluScan: 지시 따름 LLM 의 환각 탐지 및 완화 평가를 위한 체계적 벤치마크

요약

HalluScan은 대규모 언어 모델(LLMs)의 환각 현상을 체계적으로 탐지하고 완화하기 위한 포괄적인 벤치마크 프레임워크입니다. 이 프레임워크는 6가지 탐지 방법, 4개 오픈웨이트 모델 계열, 그리고 3개 도메인을 포함하는 총 72가지 구성을 평가합니다. 주요 기여로는 인간 전문가 판단과 높은 상관관계를 보이는 새로운 복합 지표인 HalluScore와 비용 효율적인 적응형 탐지 라우팅(ADR) 알고리즘 등이 있습니다.

핵심 포인트

• HalluScan은 LLM의 환각 현상을 평가하기 위해 72가지 구성(6개 방법, 4개 모델, 3개 도메인)을 포함하는 포괄적인 벤치마크를 제공합니다.
• 새로운 복합 지표 'HalluScore'는 인간 전문가 판단과 높은 상관관계(r = 0.41)를 보여주어 평가의 신뢰성을 높였습니다.
• 적응형 탐지 라우팅(ADR) 알고리즘은 AUROC 감소가 미미할 때만 비용을 절감하는 지능적인 방법을 제시합니다.
• 실험 결과, NLI Verification이 가장 높은 AUROC (0.88)를 달성했으며, 이는 환각 탐지에 효과적임을 입증했습니다.