논리적 일관성을 연결고리로: 응답과 자기 판단 간 라벨 제약 모델링을 통한 LLM 환각 탐지 개선
요약
본 논문은 대형 언어 모델(LLMs)의 환각 문제를 해결하기 위해 '논리적 일관성'을 연결고리로 활용하는 새로운 프레임워크인 LaaB를 제안합니다. 기존 방법들이 응답이나 자기 판단 중 한 측면에만 초점을 맞춘 것과 달리, LaaB는 응답(Response)과 메타-판단(Meta-Judgment) 라벨 간의 논리적 연결고리를 모델링하여 두 신호를 통합하고 상호 학습함으로써 환각 탐지 성능을 획기적으로 개선합니다.
핵심 포인트
- LLMs는 사실적 환각에 취약하며, 이는 실제 응용에서 큰 신뢰성 문제를 야기한다.
- 제안된 LaaB(Logical Consistency-as-a-Bridge) 프레임워크는 응답과 자기 판단 간의 논리적 일관성을 연결고리로 사용한다.
- LaaB는 '메타-판단' 프로세스를 도입하여 기호 라벨을 특징 공간으로 다시 매핑하고, 두 관점의 신호를 정렬 및 통합한다.
- 광범위한 실험 결과(4개 데이터셋, 8개 베이스라인)를 통해 LaaB가 기존 방법들보다 우수한 환각 탐지 성능을 입증했다.
대형 언어 모델 (LLMs) 은 사실적 환각에 취약하여 실제 응용에서 신뢰성을 위협할 수 있습니다. 기존 환각 탐지기는 불확실성 정량화를 위한 미시적 내재 패턴 추출이나, 말로 표현된 프롬프트를 통한 거시적 자기 판단을 유도하는 방식으로 주로 작동합니다. 그러나 이러한 방법들은 환각의 단일 측면만 다루며, 명시적 신경 불확실성 또는 명시적 기호 추론에 초점을 맞추고 있어 본질적으로 결합된 이 두 행동을 분리하여 처리하고 상호 의존성을 활용하지 못합니다.
이 논문에서는 응답과 자기 판단 간 라벨 제약 모델링을 통해 환각 탐지에 신경 특징과 기호 판단을 연결하는 LaaB (Logical Consistency-as-a-Bridge) 프레임워크를 제안합니다. LaaB 는 기호 라벨을 특징 공간으로 다시 매핑하기 위한 "메타-판단" 프로세스를 도입합니다. 응답과 메타-판단 라벨이 자기 판단의 의미에 따라 동일하거나 반대인 논리적 연결고리를 활용하여, LaaB 는 상호 학습을 통해 이 두 관점의 신호를 정렬하고 통합하며 환각 탐지를 강화합니다. 4 개의 공개 데이터셋에 대한 4 개의 LLM 과 8 개의 베이스라인에 대한 광범위한 실험은 LaaB 의 우월성을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기