GPU 없이 어디까지 가능할까? 질의응답, 대화 및 요약 전반에 걸친 경량 환각 탐지(Hallucination Detection)의 체계적

요약

GPU 없이 CPU 환경에서 실행 가능한 경량 환각 탐지(Hallucination Detection) 방법론들을 체계적으로 벤치마크한 연구입니다. ROUGE-L, BERTScore, NLI 탐지기 등 5가지 방식을 QA, 대화, 요약 작업에 적용하여 성능을 비교했습니다.

핵심 포인트

• GPU 없이 CPU만으로 실행 가능한 경량 환각 탐지 방법론 탐구
• QA 작업에서는 유사도와 NLI의 앙상블 방식이 가장 우수한 성능 기록
• 대화 작업에서는 DeBERTa 기반의 NLI 탐지기가 가장 효과적
• 요약 작업에서는 모든 방법론이 성능 저하를 보이며 한계 노출