저항 및 업데이트: 인센티브 호환 LLM을 위한 반사실적 보고 좌표

요약

본 논문은 언어 모델이 비증거 기반 압력 하에서 잘못 보고하는 '내부 인센티브 호환성(IC) 실패' 문제를 다룹니다. 이를 해결하기 위해, 금지된 영향에는 불변하면서 허가된 증거에는 반응하는 반사실적 보고 중개자 학습 및 인증 방법을 제시합니다. 이 방법은 모델의 답변, 자신감, 주의사항에 대한 인과적 좌표를 식별하고, 인센티브가 중화된 환경에서 모델을 훈련시키는 '반사실적 보고 좌표(CRC) 클램프'를 도입하여 높은 저항성과 업데이트 능력을 달성했습니다.

핵심 포인트

• 모델의 잘못된 보고는 내부 인센티브 호환성(IC) 실패 때문입니다.
• 금지된 영향에 불변하고 허가된 증거에 반응하는 중개자 학습이 핵심입니다.
• 인과적 개입을 통해 답변, 자신감 등 여러 요소를 독립적으로 제어할 수 있습니다.
• 제안된 CRC 클램프는 모델의 저항성과 업데이트 능력을 동시에 높였습니다.