다중모달 대형 언어 모델 (MLLM) 을 위한 불확실성 인지 탐색적 직접 선호 최적화 (UE-DPO)

요약

본 논문은 다중모달 대형 언어 모델(MLLMs)의 환각 문제를 해결하기 위해 '불확실성 인지 탐색적 직접 선호 최적화(UE-DPO)'라는 새로운 방법을 제안합니다. 이 방법은 토큰 수준의 인식적 불확실성을 활용하여, 모델이 자신의 지식적 결함을 스스로 발견하고 적극적으로 수정하도록 유도하는 것이 핵심입니다. UE-DPO는 불확실성 인지 탐색 강도를 기반으로 시각적 결핍 토큰에 대한 학습 압력을 강화함으로써, MLLMs의 정렬(alignment)을 더욱 깊고 견고하게 만듭니다.

핵심 포인트

• MLLMs의 환각 완화를 위해 DPO를 활용하는 것이 효과적이지만, 기존 방법은 자기 참조 편향으로 인해 중요한 세부 사항 학습에 한계가 있었습니다.
• 제안된 UE-DPO는 토큰 수준의 인식적 불확실성(epistemic uncertainty)을 정량화하여 모델이 자신의 인지적 결함을 스스로 발견하게 합니다.
• UE-DPO는 불확실성 인지 탐색 강도를 기반으로 시각적 결핍 토큰에 대한 학습 압력을 강화하고, 과잉 처벌을 완화합니다.
• 본 연구는 UE-DPO의 이론적 근거를 제시하고 광범위한 실험을 통해 그 효과성과 견고성을 입증했습니다.