Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 환각 현상을 탐지하기 위해 적은 레이블 데이터로도 높은 성능을 내는 2단계 시암 프레임워크 CPIL을 제안합니다. 패러프레이징 불변성 학습과 하드 네거티브 채굴을 통해 효율적인 임베딩 공간을 구축합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 소스 문서에 의해 뒷받침되지 않는 환각 (hallucinations)을 빈번하게 생성합니다. 비용이 많이 드는 LLM-as-evaluator 파이프라인과 기존 분류기(classifiers)의 과도한 어노테이션(annotation) 요구 사항을 피하기 위해, 우리는 기존의 레이블된 데이터(labeled data)의 유용성을 극대화하는 2단계 시암 프레임워크 (Siamese framework)인 CPIL (Cross Paraphrastic Invariance Learning)을 제안합니다. 구체적으로, CPIL은 다음과 같은 방식으로 정보가 풍부한 학습 쌍(training pairs)을 구축합니다: (i) 각 문서-주장(document-claim) 예시의 패러프레이징된 뷰(paraphrastic views)를 긍정 예시(positives)로 생성하고, 표면 형태(surface form)에 대한 불변성(invariance)을 강제하기 위해 이들의 표현(representations)을 명시적으로 정렬하며; (ii) 문서 민감한 결정 경계(decision boundaries)를 날카롭게 만들기 위해 동일 문서 내의 반대 레이블 쌍(opposite-label pairs)을 하드 네거티브(hard negatives)로 채굴합니다. 그 후 CPIL은 2단계 모델 학습을 수행합니다: 1단계에서는 패러프레이즈 불변적이고 근거 인식적인(grounding-aware) 임베딩 공간(embedding space)을 학습하기 위해 대조 사전 학습(contrastive pretraining)을 수행하며; 2단계에서는 이진 근거성(binary groundedness)을 위한 경량 분류기(lightweight classifier)를 부착합니다. LLM-AggreFact 벤치마크 (11개 태스크)에서 CPIL은 단 ~1%의 레이블된 데이터만으로도 F1 점수 측면에서 강력한 베이스라인(baselines)을 능가하며, 예측 우수성과 레이블 효율성을 보여주었습니다.