환각을 완화하기 위해 정말 외부 도구가 필요할까? SIRA: Attribution의 공유 접두사 내부 재구성

요약

본 논문은 대규모 시각-언어 모델(LVLMs)이 모호한 시각적 증거로 인해 환각을 일으키는 문제를 다루며, 이를 해결하기 위해 외부 도구 없이 내부에서 반사실적 참조를 구축하는 새로운 프레임워크인 SIRA를 제안합니다. SIRA는 공유 접두사를 통해 이미지와 텍스트 토큰의 상호작용을 유지하면서, 트랜스포머 후기 레이어에서 시각적 증거 접근이 제한된 내부 대조적 분기를 생성하여 언어적 사전 지식 중심의 참조를 만듭니다. 실험 결과, SIRA는 기존의 다중 패스 디코딩 방식보다 낮은 오버헤드로 환각을 효과적으로 줄이는 것으로 나타났습니다.

핵심 포인트

• SIRA(Shared Prefix Attribution)는 외부 도구 없이 LVLM 내부에서 반사실적 참조를 구축하는 프레임워크이다.
• 공유 접두사 메커니즘을 활용하여 이미지와 텍스트 토큰의 초기 상호작용 및 구조를 보존한다.
• 후기 레이어에서 시각적 증거 접근이 제한된 '반사실적 분기'를 생성하여 언어적 사전 지식 중심의 내부 참조를 만든다.
• SIRA는 학습, 외부 검증기, 섭동된 입력 없이도 적용 가능하며, 기존 방식 대비 낮은 오버헤드를 가진다.