Context-Fidelity Boosting: Watermark-Inspired Decoding 를 통한 Faithful Generation 강화

요약

본 논문은 대규모 언어 모델(LLMs)이 입력 컨텍스트와 모순되는 정보를 생성하는 '충실도 환각(faithfulness hallucination)' 문제를 해결하기 위한 경량 디코딩 시간 프레임워크인 Context-Fidelity Boosting(CFB)을 제안합니다. CFB는 워터마킹 기술에서 영감을 받은 로짓 조정 원리를 활용하여, 입력 컨텍스트로부터의 지원 정도에 따라 토큰 단위로 가산 편향을 적용함으로써 모델이 소스 기반의 정보를 더 충실하게 따르도록 유도합니다. 이 방법은 재학습이나 아키텍처 변경 없이 다양한 LLM에 쉽게 적용 가능하며, 여러 작업에서 높은 성능 향상을 입증했습니다.

핵심 포인트

• Context-Fidelity Boosting (CFB)는 LLMs의 '충실도 환각' 문제를 해결하기 위한 디코딩 시간 프레임워크이다.
• 워터마킹 기술에서 영감을 받은 로짓 조정(logit adjustment) 원리를 사용하여, 소스 지원 정도에 따라 토큰 생성 확률을 높인다.
• 세 가지 전략(static, context-aware, token-aware boosting)을 제공하여 다양한 상황의 컨텍스트 충실도를 개선할 수 있다.
• CFB는 재학습이나 아키텍처 변경이 필요 없어 범용성이 매우 뛰어나며, 최소한의 오버헤드로 성능 향상을 이룬다.