당신이 요청한 것이 아닙니다: 가정용 로봇 조작에서의 타이포그래피 공격 (Typographic Attacks)

Open-vocabulary (개방형 어휘) Embodied AI (체화된 AI) 에이전트들은 객체 인지 및 태스크 그라운딩 (Task Grounding)을 위해 CLIP과 같은 Vision-Language Models (시각-언어 모델)에 점점 더 많이 의존하고 있습니다. 그러나 이러한 유연성을 가능하게 하는 공유 임베딩 공간 (Shared Embedding Space)은 타이포그래피 공격 (Typographic Attacks)에 대한 구조적 취약성을 초래하며, 이 공격은 물리적 장면 내의 인쇄된 텍스트가 시각적 판단을 의미론적으로 압도하게 만듭니다. 이전 연구들이 정적인 2D 벤치마크와 3D 내비게이션 태스크에서 이러한 위협을 정량화한 바 있으나, 가정용 로봇 조작의 전체 Sense-Plan-Act (인지-계획-실행) 파이프라인에 미치는 영향은 아직 탐구되지 않았습니다. 본 연구는 HomeRobot 벤치마크를 사용하여 Habitat 기반 시뮬레이션에서의 타이포그래피 공격을 평가합니다. 우리는 DETIC을 통해 기하학적 그라운딩 (Geometric Grounding)을 유지하면서, 고정된 (Frozen) CLIP 인코더를 적대적 스티커 (Adversarial Stickers)에 노출시키는 분리된 인지 아키텍처 (Decoupled Perception Architecture)를 도입합니다. 59개의 귀속 가능한 에피소드 (Attributable Episodes)로 구성된 통제된 평가 풀에서, 인지적 최적화가 없는 상태로 통제되지 않은 시야각 및 폐쇄 (Occlusion) 조건 하에 공격은 전체 67.8%의 공격 성공률 (Attack Success Rate, ASR)을 달성했으며, 완전히 성공한 에피소드 중에서는 70.0%까지 상승했습니다. 결정적으로, 우리는 인지적 오류가 지속적인 3D 시맨틱 맵 (3D Semantic Map)을 통해 전파되어 운동학적 실패 (Kinetic Failures)를 일으킨다는 것을 발견했습니다. 여기서 운동학적 실패란 적대적으로 오염된 시맨틱 상태 (Semantic State)에 의해 유도되어 잘못된 객체를 물리적으로 움켜쥐고 운반하는 것으로 정의됩니다. 이러한 경우, 로봇은 물리적으로 잘못된 객체를 움켜쥐어 대상 수납함으로 전달합니다. 이러한 결과는 타이포그래피 오분류 (Typographic Misclassification)가 이전의 타이포그래피 공격 연구에서 검토되지 않았던 모듈형 조작 파이프라인의 안전에 실질적이고 측정 가능하며 물리적 결과로 이어지는 위협임을 입증합니다.