단어는 안전하지만 행동은 위험할 때: 텍스트 안전성을 넘어선 은닉 상태 리스크 공간에서의 물리적 위험 탐지

요약

LLM 기반 에이전트가 실제 물리 세계에서 발생시킬 수 있는 위험(PD)과 단순 텍스트 콘텐츠 위험(CD)을 분리하여 탐지하는 연구를 제시합니다. 제안된 PRISM 모델은 은닉 상태 분석을 통해, 명시적 유해 키워드 없이도 물리적 위험 상황을 높은 정확도로 식별할 수 있음을 입증했습니다.

핵심 포인트

• 물리적 위험(PD)과 콘텐츠 위험(CD)의 분리가 가능함을 연구로 증명함.
• PRISM은 은닉 상태를 활용하여 물리적 안전성을 탐지하는 새로운 방법론임.
• PSB-1K 벤치마크에서 PRISM이 높은 정확도와 낮은 FPR을 달성함.
• 본 연구는 텍스트 조정(text moderation)을 넘어선 표현 수준의 물리적 안전 확보에 기여함.