MHSA: Steered Attention을 통해 환각을 완화하는 LVLM을 위한 경량 프레임워크

요약

MHSA(Mitigating Hallucinations via Steered Attention)는 대규모 시각-언어 모델(LVLMs)이 겪는 환각 문제를 완화하기 위해 제안된 경량 프레임워크입니다. 이 프레임워크는 LVLM의 교차 모달 어텐션 패턴을 학습하여 교정함으로써, 기존의 어텐션을 수정 없이 효과적으로 대체합니다. MHSA는 판별적 및 생성적 환각 모두를 완화하며, 모델의 신뢰성을 높이는 새로운 접근 방식을 제시합니다.

핵심 포인트

• MHSA는 LVLM의 환각 문제를 해결하기 위해 설계된 경량 프레임워크입니다.
• 이 프레임워크는 교차 모달 어텐션 패턴을 학습하고 이를 통해 기존 어텐션을 교정하여 사용합니다.
• 추론 과정에서 MHSA는 LVLM 파라미터를 수정하지 않고, 단순히 어텐션만 대체하는 방식으로 작동합니다.
• MHSA는 판별적(discriminative) 및 생성적(generative) 환각 모두를 완화할 수 있습니다.