Semantic Flip: Embodied Question Answering 및 공간 로컬라이제이션에서의 강건한 거부를 위한 합성 OOD 생성

요약

Embodied Agent가 시각적 근거가 부족한 질문에 대해 잘못된 답변을 내놓는 문제를 해결하기 위해 Semantic Flip 프레임워크를 제안합니다. 질의와 비디오 메모리를 독립적으로 변환하여 합성 OOD 데이터를 생성함으로써, 모델 재학습 없이도 강건한 거부(refusal)가 가능한 경량 모듈을 학습시킵니다.

핵심 포인트

• 시각적 근거가 부족할 때 발생하는 VLM의 과잉 확신 문제 해결
• Semantic Flip: 질의와 메모리 변환을 통한 합성 OOD 생성 프레임워크
• 기존 VLM을 재학습하지 않고 부착 가능한 경량 거절 모듈 제안
• 새로운 공간 로컬라이제이션 거절 벤치마크 SpaceReject 소개