Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GUI 시각적 접지(visual grounding) 모델이 좌표를 숫자 토큰으로 생성할 때 발생하는 보안 취약점을 분석한 연구입니다. 자릿값 구조를 악용하여 클릭 위치를 의도적으로 변위시키는 새로운 적대적 공격 방법론인 MissClick을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근의 GUI visual grounding (시각적 접지) 모델들은 숫자 토큰의 시퀀스로 화면 좌표를 생성하며, 이 토큰들은 수치 값으로 파싱되어 실행 가능한 클릭으로 매핑됩니다. 이러한 좌표 생성 과정의 보안적 함의는 그동안 크게 간과되어 왔습니다. 우리는 각 좌표 숫자가 범주형 토큰 (categorical token)으로 예측되지만, 파싱 후에는 백의 자리 숫자를 1만큼만 바꿔도 해당 수치 좌표 성분이 100 단위로 변하며, 이는 실행된 클릭의 큰 변위를 유발할 수 있음을 관찰했습니다. 이러한 관찰은 좌표 출력을 일반적인 텍스트로 취급하는 대신, 좌표 출력의 수치적 및 자릿값 (place-value) 구조를 고려하는 공격 목표를 구상하게 하는 동기가 됩니다. 또한, 비표적 (untargeted) 공격과 표적 (targeted) 공격은 서로 다른 성공 조건—클릭을 올바른 영역 밖으로 변위시키는 것 대 공격자가 지정한 영역으로 변위시키는 것—을 가지며, 따라서 서로 다른 목적 함수 (objectives)로부터 이득을 얻습니다. 우리는 두 가지 목표 특화 목적 함수를 가진 단순하고 효과적인 화이트박스 적대적 공격 (white-box adversarial attack)인 MissClick을 제안합니다. MissClick-U는 비표적 교란을 위해 soft-coordinate 변위를 최대화하며, MissClick-T는 표적 하이재킹 (hijacking)을 위해 자릿값 가중치 적용 표적 숫자 손실 (place-weighted target-digit loss)을 최소화합니다. 데스크톱, 웹, 모바일 플랫폼 전반에 걸친 OS-Atlas 및 UGround 상의 GUI grounding 모델에 대한 기존 공격들과 비교했을 때, MissClick-U는 75.07% 및 72.93%의 비표적 성공률을 달성하였고 (+16.62 및 +30.72 pp), MissClick-T는 44.86% 및 62.67%의 표적 성공률을 달성하였습니다 (+31.73 및 +47.06 pp). 공격 목적 함수 비교를 통해 soft-coordinate 변위가 가장 높은 비표적 공격 성공률을 생성하는 반면, 자릿값 가중치 적용 표적 숫자 최적화가 가장 높은 표적 공격 성공률을 생성함을 보여줌으로써, 두 가지 공격 목표에 대한 뚜렷한 목적 함수 선호도를 밝혀냈습니다.