정직한 대형 비전-언어 모델의 지식 경계 delineating

요약

본 논문은 대형 비전-언어 모델(VLMs)이 전문적이거나 긴 꼬리 도메인에서 사실적 환각에 취약하고, 자신의 지식 경계를 명확히 인식하는 능력이 부족하다는 문제를 다룹니다. 연구진은 'Visual-Idk' 데이터셋을 구축하여 알려진 사실과 알 수 없는 사실을 구별하도록 모델의 거부 능력을 향상시키는 체계적인 프레임워크를 제안했습니다. 이 방법론은 지도 미세 조정(SFT)과 선호도 인식 최적화(DPO/ORPO)를 결합하여, VLMs가 자신의 지식 한계를 효과적으로 인지하고 더 신뢰할 수 있는 응답을 생성하도록 개선합니다.

핵심 포인트

• VLMs는 전문 도메인에서 사실적 환각에 취약하며, 알려지지 않은 질문에 대한 거부 능력이 약하다는 문제점을 해결하는 데 초점을 맞췄다.
• 알려진 사실과 알 수 없는 사실을 구별하기 위해 'Visual-Idk'라는 모델 특이적 데이터셋을 구축했다.
• 제안된 프레임워크는 지도 미세 조정(SFT)과 DPO/ORPO와 같은 선호도 인식 최적화를 결합하여 지식 경계를 명확히 한다.
• 실험 결과, 이 방법론은 진실성 비율을 유의미하게 향상시켰으며, 모델이 단순히 거부 패턴을 암기하는 것이 아니라 실제로 자신의 한계를 인지함을 입증했다.