Large Language Models에서의 확장 가능한 토큰 수준 환각 탐지 (Scalable Token-Level Hallucination

요약

본 논문은 LLM이 생성하는 환각(hallucinations) 문제를 해결하기 위해 TokenHD라는 통합 파이프라인을 제안합니다. 기존의 단계별 분석 방식은 낮은 입도와 확장성 문제에 직면해 있었으나, TokenHD는 대규모 합성 주석 엔진과 중요도 가중치 전략을 통해 토큰 수준에서 환각을 탐지할 수 있습니다. 이 방법론은 자유 형식 텍스트에서 직접 작동하며, 작은 규모의 탐지기만으로도 큰 추론 모델에 필적하는 높은 성능과 뛰어난 확장성을 입증했습니다.

핵심 포인트

• TokenHD는 LLM의 환각을 토큰 수준에서 탐지하기 위한 통합 파이프라인이다.
• 기존 단계별 분석 방식의 낮은 입도와 확장성 문제를 해결한다.
• 대규모 합성 주석 엔진과 중요도 가중치 전략을 활용하여 모델 학습에 사용된다.
• TokenHD는 자유 형식 텍스트에서 직접 작동하며, 사전 단계 분할이나 재형식화가 필요 없다.
• 작은 규모의 탐지기(0.6B)만으로도 큰 추론 모델 대비 높은 성능과 뛰어난 확장성을 보여준다.