환각 탐지 벤치마크의 레이블링 문제: 경험적 평가

최근 몇 년 동안 대규모 언어 모델(LLMs)이 환각(hallucinate)하는 것을 감지하기 위한 여러 방법들이 개발되었습니다. 이러한 방법들은 종종 질문과 이에 상응하는 짧은 참고 답변을 포함하는 오픈 도메인 질의응답(QA) 데이터셋으로 벤치마킹됩니다. 먼저, LLM을 사용하여 QA 데이터셋 내의 질문에 대한 답변을 생성합니다. 그런 다음, 자동화된 레이블링 전략이 사용되어 이 답변들을 데이터셋의 참고 답변과 비교함으로써 환각되었는지 여부를 레이블링합니다. 이러한 평가 설정은 두 가지 기준 사이에서 방법론적 모호성을 만듭니다: 참고 충실성(reference faithfulness, 답변이 참고 자료에 의해 완전히 뒷받침되는지 여부)과 사실적 정확성(factual correctness, 답변이 모순이나 사실적으로 틀린 특정 주장을 포함하지 않는지 여부). 실제로는 자동화된 레이블러들이 의도된 목표가 후자임에도 불구하고 전자의 기준을 적용할 수 있습니다. 우리는 세 가지 일반적으로 사용되는 QA 데이터셋과 세 개의 생성기 모델에 걸친 900개의 인간 레이블링 질문-답변 쌍을 사용하여 이러한 잠재적인 기준 불일치를 연구했으며, 이 레이블들은 답변 수준의 사실적 정확성을 목표로 합니다. 우리는 어휘 유사성 지표(lexical similarity metrics), 참고 함의 추론 기반 NLI 베이스라인(reference-entailment NLI baseline), 그리고 통제된 프롬프트 변형 하에서 7개의 LLM 심사위원들을 자동화된 레이블러로서 평가합니다. 우리의 실험은 자동화된 레이블링 전략들 사이와 이 레이블들과 인간 주석 사이에 상당한 불일치가 있음을 보여줍니다. 또한 많은 전략들이 강한 방향성 오류 편향(directional error biases)을 나타내며, 대부분의 심사위원-생성기 쌍에 대해 충실성 지향 프롬프트를 사실적 정확성 프롬프트로 대체하는 것이 인간 주석과의 일치도를 향상시키고 거짓 양성 우세(false-positive dominance)를 줄인다는 것을 보여줍니다. 이는 자동화된 환각 레이블이 목표 기준으로 지정되는 방식에 강하게 의존한다는 것을 나타냅니다. 따라서 레이블 출처 선택은 벤치마크 설계의 근본적인 부분으로 간주되어야 하며 명시적이고, 검증되고, 벤치마크 목표와 일치시켜야 합니다.