Groc-PO: 진실성 있는 멀티모달 LLM을 위한 근거 기반 컨텍스트 선호도 최적화

요약

본 논문은 MLLMs의 진실성 부족 문제를 해결하기 위한 새로운 프레임워크 Groc-PO를 제안합니다. 기존 DPO는 최종 답변 수준에서 선호도 최적화를 적용하여 초기 근거 단계의 오류 전파를 막기 어렵다는 한계가 있었습니다. Groc-PO는 객체, 컨텍스트, 추론 등 다단계 근거 단계를 명시적으로 지도하여 신뢰성 있는 멀티모달 추론을 강화합니다.

핵심 포인트

• Groc-PO: MLLMs의 진실성을 높이는 근거 기반 선호도 최적화 프레임워크.
• 기존 DPO는 최종 답변에만 초점을 맞춰 초기 오류 전파를 막기 어려움.
• GCPD 구축을 통해 객체, 컨텍스트 등 다단계 근거 데이터를 제공함.
• Groc-PO가 환각 완화 및 추론 신뢰성 측면에서 우수한 성능을 보임.