Context-Fidelity Boosting: Watermark-Inspired Decoding 를 통한 Faithful Generation 강화
요약
본 논문은 대규모 언어 모델(LLMs)이 입력 컨텍스트와 모순되는 정보를 생성하는 '충실도 환각(faithfulness hallucination)' 문제를 해결하기 위한 경량 디코딩 시간 프레임워크인 Context-Fidelity Boosting(CFB)을 제안합니다. CFB는 워터마킹 기술에서 영감을 받은 로짓 조정 원리를 활용하여, 입력 컨텍스트로부터의 지원 정도에 따라 토큰 단위로 가산 편향을 적용함으로써 모델이 소스 기반의 정보를 더 충실하게 따르도록 유도합니다. 이 방법은 재학습이나 아키텍처 변경 없이 다양한 LLM에 쉽게 적용 가능하며, 여러 작업에서 높은 성능 향상을 입증했습니다.
핵심 포인트
- Context-Fidelity Boosting (CFB)는 LLMs의 '충실도 환각' 문제를 해결하기 위한 디코딩 시간 프레임워크이다.
- 워터마킹 기술에서 영감을 받은 로짓 조정(logit adjustment) 원리를 사용하여, 소스 지원 정도에 따라 토큰 생성 확률을 높인다.
- 세 가지 전략(static, context-aware, token-aware boosting)을 제공하여 다양한 상황의 컨텍스트 충실도를 개선할 수 있다.
- CFB는 재학습이나 아키텍처 변경이 필요 없어 범용성이 매우 뛰어나며, 최소한의 오버헤드로 성능 향상을 이룬다.
대규모 언어 모델 (LLMs) 은 종종 입력 컨텍스트에 제공된 정보와 모순되거나 이를 간과하는 콘텐츠를 생성하는 경우가 있으며, 이러한 현상은 faithfulness hallucination(충실도 환각)으로 알려져 있습니다. 본 논문에서는 이러한 환각을 줄이기 위해 소스(support)가 뒷받침되는 토큰의 생성 확률을 높이는 경량적이고 일반적인 디코딩 시간 (decoding-time) 프레임워크인 Context-Fidelity Boosting(CFB) 을 제안합니다. CFB 는 워터마킹 기술에서 유래한 logit-shaping 원리에 영감을 받아, 입력 컨텍스트로부터의 지원 정도에 따라 토큰 단위의 additive token-level logit adjustments(가산 토큰 단위 로짓 조정) 를 적용합니다. 구체적으로, 우리는 세 가지 boosting 전략을 개발했습니다: 소스-지원된 토큰에 고정된 편향 (fixed bias) 을 적용하는 static boosting; 컨텍스트가 있는 경우와 없는 경우의 다음 토큰 분포 간의 divergence(발산) 를 사용하여 이 편향을 스케일링하는 context-aware boosting; 그리고 소스 위치 주의력 (source-position attention) 과 소스 스코프 시맨틱 유사도 (source-scoped semantic similarity) 로 추정된 지역적 관련성 (local relevance) 에 따라 적응형 편향을 다시 분배하는 token-aware boosting 입니다. CFB 는 재학습이나 아키텍처 변경이 필요 없으며, 다양한 LLM 과 호환됩니다. 여러 오픈소스 LLM 에서 수행한 요약 및 질문 답변 작업에 대한 실험 결과, CFB 는 최소한의 생성 오버헤드 (generation overhead) 로 일관되게 faithfulness metrics(충실도 지표) 를 향상시키는 것으로 나타났습니다. 우리의 구현은 완전히 오픈소스화되어 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기