단어는 안전하지만 행동은 위험할 때: 텍스트 안전성을 넘어선 은닉 상태 리스크 공간에서의 물리적 위험 탐지
요약
LLM 기반 에이전트가 실제 물리 세계에서 발생시킬 수 있는 위험(PD)과 단순 텍스트 콘텐츠 위험(CD)을 분리하여 탐지하는 연구를 제시합니다. 제안된 PRISM 모델은 은닉 상태 분석을 통해, 명시적 유해 키워드 없이도 물리적 위험 상황을 높은 정확도로 식별할 수 있음을 입증했습니다.
핵심 포인트
- 물리적 위험(PD)과 콘텐츠 위험(CD)의 분리가 가능함을 연구로 증명함.
- PRISM은 은닉 상태를 활용하여 물리적 안전성을 탐지하는 새로운 방법론임.
- PSB-1K 벤치마크에서 PRISM이 높은 정확도와 낮은 FPR을 달성함.
- 본 연구는 텍스트 조정(text moderation)을 넘어선 표현 수준의 물리적 안전 확보에 기여함.
대규모 언어 모델(LLMs)이 체화된 에이전트(embodied agents)를 위한 고수준 플래너로 점점 더 활용되면서, 언어적으로는 무해한 지침이라도 실제 물리 세계에 구현되면 안전하지 않은 상황이 발생할 수 있습니다. 우리는 이러한 물리적 기반의 위험이 일반적인 텍스트 수준의 콘텐츠 위험과 동일한 안전 문제인지 연구합니다. 은닉 상태 방향 분석(hidden-state direction analysis)과 임의 분할 영가설 검정(random-split null tests)을 통해, Qwen2.5-3B/7B/14B/32B, Phi-3.5 및 SmolLM2 전반에 걸쳐 콘텐츠 위험(CD)과 물리적 위험(PD)이 LLM 표현 내에서 분리 가능한 신호임을 보여줍니다. CD/PD의 분리 가능성을 바탕으로, 우리는 전체 은닉 상태에 대한 단일 레이어 L2 정규화 로지스틱 프로브인 PRISM을 제안합니다. PRISM은 11.7--13.7%의 FPR(False Positive Rate)로 SafeAgentBench에서 86.2--87.7%의 정확도를 달성한 반면, 동일 규모의 LLM 판정기는 24.7--39.0%의 FPR로 안전한 작업을 과도하게 차단합니다. 나아가 우리는 직접적인 유해 키워드 없이 1,000개의 물리적 위험 쌍을 포함하는 대조적 벤치마크인 PhysicalSafetyBench-1K (PSB-1K)를 도입하여, 방법론이 명시적인 안전하지 않은 단어 사용보다는 실제로 구현된 물리적 위험을 탐지하는지 테스트합니다. PSB-1K에서 PRISM은 99.6%의 정확도와 0.7%의 FPR에 도달한 반면, Qwen2.5-3B 판정기는 안전한 작업 중 67.8%를 거부합니다. 또한 PRISM은 SafeText 및 EARBench에서도 재현되어, 은닉 상태 탐지(hidden-state probing)가 텍스트 조정(text moderation)을 넘어선 물리적 안전을 위한 표현 수준의 방법임을 뒷받침합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기