GPU 없이 어디까지 가능할까? 질의응답, 대화 및 요약 전반에 걸친 경량 환각 탐지(Hallucination Detection)의 체계적

환각 탐지(Hallucination detection)는 대규모의 신뢰할 수 있는 AI 배포를 위한 시급한 요구 사항이 되었습니다. 가장 정확한 탐지 방법들은 GPU 집약적인 추론(inference), 독점적인 API 호출, 또는 생성 모델에 대한 화이트박스(white-box) 접근 방식에 의존합니다. 이는 자원이 제한된 연구자와 실무자들에게는 접근하기 어려운 방식입니다. 본 논문에서 우리는 실질적인 대안을 탐구합니다. 공개적으로 사용 가능한 모델을 기반으로 구축된, 가볍고 CPU로 실행 가능한 방법들만 사용하여 환각 탐지가 얼마나 잘 수행될 수 있을까요? 우리는 다음과 같은 다섯 가지 방법을 체계적으로 벤치마크합니다: ROUGE-L, 의미적 유사도(semantic similarity), BERTScore, FEVER로 학습된 DeBERTa 모델 기반의 자연어 추론 (NLI) 탐지기, 그리고 유사도와 NLI의 점수 수준 앙상블(score-level ensemble)입니다. 우리는 HaluEval 벤치마크의 세 가지 작업인 질의응답 (QA), 대화, 그리고 요약(summarisation) 전체에 대해 이들을 평가합니다. 우리는 별도의 검증 데이터 분할(held-out validation split)을 통해 각 방법을 보정(calibrate)하고, 작업당 2,000개의 테스트 인스턴스에 대해 평가합니다. 연구 결과, 단일 방법이 압도적이지 않으며 성능은 작업에 따라 크게 달라진다는 것을 발견했습니다. 앙상블은 QA에서 가장 좋은 성능을 보였고 (F1 = 0.792, AUC-ROC = 0.873), NLI 탐지기는 대화에서 앞서 나갔으며 (AUC-ROC = 0.713), 다섯 가지 방법 모두 요약 작업에서는 무작위 성능에 가까운 수준으로 저하되었습니다 (AUC-ROC 0.469에서 0.574 사이). 이러한 작업 의존성과 요약 작업에서의 체계적인 실패는 GPU 없는 환각 탐지의 실질적인 한계를 보여줍니다. 이는 계산 자원이 제한된 상황에서의 방법 선택에 대한 실질적인 지침을 제공합니다. 모든 실험은 공개 모델을 사용하여 표준 노트북 CPU에서 실행되었습니다.