Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 월드-액션 모델(WAMs)의 취약점을 다루며, WAM이 상상하는 미래와 실제 행동 간의 불일치를 공격하는 BadWAM 프레임워크를 제안합니다. 이 적대적 공격은 시각적 교란을 통해 WAM의 정렬을 깨뜨리며, 명백한 액션 하이재킹부터 은밀한 비동기화까지 다양한 실패 스펙트럼을 포착합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기월드-액션 모델(World-action models, WAMs)은 체화된 제어(embodied control)의 유망한 기반으로 떠오르고 있습니다. 이 모델들은 단순히 액션을 예측하는 것을 넘어, 액션 생성과 미래 세계 예측을 결합하는 표현(representations)을 학습합니다. 이러한 결합은 로봇의 행동이 원칙적으로 상상되는 미래와 비교될 수 있으므로, 견고성(robustness), 해석 가능성(interpretability), 안전성의 원천으로 여겨집니다. 본 논문에서 우리는 이 가정이 취약하다는 것을 보여줍니다. 우리는 BadWAM을 소개합니다. 이는 월드-액션 드리프트 공격(World-Action Drift Attacks)을 모델링하고 평가하기 위한 통합 프레임워크입니다. 이는 WAM 특유의 적대적 공격(adversarial attacks)의 새로운 클래스로, 작은 시각적 교란(visual perturbations)을 사용하여 WAM이 상상하는 것과 실제로 실행하는 것 사이의 정렬(alignment)을 깨뜨립니다. BadWAM은 이 공격 표면(attack surface)을 두 가지 자연스러운 기준에 따라 특성화합니다: 공격 강도(attack strength)와 은밀성(stealthiness). 적대자가 혼란(disruption)을 우선시할 때, BadWAM은 액션 전용 적대적 공격(action-only adversarial attack)을 구현하여 모델을 직접적으로 작업 실패 행동으로 유도합니다. 반면, 적대자가 추가적으로 은밀성을 우선시할 때는, BadWAM이 상상력을 보존하는 적대적 공격(imagination-preserving adversarial attack)을 구현하는데, 이는 모델의 예측된 미래를 깨끗한 상상에 가깝게 유지하면서 해로운 행동 변화를 유도하는 것을 목표로 합니다. 이 두 가지 공격은 함께 WAM 특유의 실패 스펙트럼을 포착합니다: 명백한 액션 하이재킹(overt action hijacking)부터 모델이 그럴듯한 미래를 상상하는 것처럼 보이지만 비동기화된 행동을 실행하는 더 은밀한 경우까지입니다. 우리는 다양한 변형의 WAM에 걸쳐 BadWAM을 평가했습니다. 결과는 우리의 공격들이 클로즈 루프 실행(closed-loop execution) 하에서 작업 성공률을 상당히 감소시킨다는 것을 보여줍니다. 예를 들어, 우리의 액션 전용 공격은 모델 성능을 96.5%에서 43.1%의 성공으로 낮춥니다. 또한, 우리의 상상력 보존 공격은 WAM 특유의 취약점을 추가로 노출합니다: 적당한 미래 보존 정규화(future-preserving regularization)가 미래 상상 드리프트를 줄이면서도 강력한 공격 성능을 유지할 수 있음을 보여줍니다.