실제 환경에서 Embodied Agent(체화된 에이전트)를 신뢰성 있게 배포하기 위해서는 답변할 수 없는 사용자 질의를 탐지하는 것이 여전히 필수적입니다. 그러나 최신 Vision-Language Models (VLMs)는 가용한 시각적 메모리(visual memory)가 질의를 지원할 수 없는 경우에도 지나치게 확신에 찬 답변을 생성하는 경우가 많습니다. 이러한 과잉 확신은 작업 의존적인 다양한 위험을 초래합니다. 에이전트는 Embodied Question Answering (체화된 질의응답)에서 사용자에게 오해의 소지가 있는 정보를 제공할 수 있으며, 공간 추론(spatial reasoning)을 통한 내비게이션 시 임의의 좌표를 선택하여 사용자를 물리적으로 그곳으로 안내할 수 있습니다. 이러한 높은 위험성에도 불구하고, Embodied VLM이 언제, 어떻게 "모릅니다"라고 응답해야 하는지를 직접적으로 다룬 선행 연구는 거의 없습니다. 본 연구는 외부의 OOD(Out-of-Distribution, 분포 외) 주석 없이도 Embodied Refusal (체화된 거부)를 위한 보조적인 OOD 샘플을 합성하는 단순하지만 효과적인 프레임워크인 Semantic Flip을 제안합니다. 핵심 아이디어는 질의(query)와 비디오 메모리(video memory)를 독립적으로 변환하여 충분한 시각적 근거(visual grounding)가 부족한 보조 OOD 쌍을 구축하는 것입니다. 이렇게 합성된 쌍을 통해 동결된(frozen) 사전 학습된 VLM 상단에 경량화된 거절 모듈(rejection module)을 학습시킬 수 있습니다. 이 모듈은 기본 모델을 재학습시키지 않고도 기존의 모든 VLM 기반 파이프라인에 부착할 수 있습니다. 두 가지 상호 보완적인 벤치마크를 통해, Semantic Flip은 강력한 프롬프팅(prompting) 베이스라인들을 일관되게 능가합니다. 또한 본 연구는 긴 비디오 메모리에 대해 의도적으로 답변할 수 없는 질의를 포함하는 공간 로컬라이제이션(spatial localization)을 위한 새로운 거절 벤치마크인 SpaceReject를 소개하며, 여기서 Semantic Flip은 0.9559의 $F_1$ 점수를 달성했습니다. 소스 코드와 데이터셋은 https://github.com/ndb796/SemanticFlip 에서 공개적으로 사용할 수 있습니다.