EpiSEM-Bench: 누락된 증거 하에서 LLM 에이전트의 안전성 및 증거 복구 평가

원문 발행 2026. 10. 23. 02:57원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 기사는 LLM 에이전트가 환경적 사실(증거)의 누락 하에서 안전하지 않은 행동을 할 수 있음을 지적합니다. 이에 대한 평가를 위해 EpiSEM-Bench라는 새로운 벤치마크를 소개하며, 이는 증거 누락 상황에서의 안전 경계와 증거 복구 능력을 측정합니다. 이 벤치마크는 모델들이 누락된 사실에 얼마나 견고하게 대응하고 이를 적절히 활용하는지 보여줍니다.

핵심 포인트

LLM 에이전트는 환경적 사실 누락 시 안전하지 않은 행동을 할 위험이 있습니다.
EpiSEM-Bench는 증거 누락 하에서의 안전성 및 복구 능력을 평가하는 새로운 벤치마크입니다.
모델들은 누락된 사실에 대한 견고성과 증거 습득 능력에서 큰 편차를 보였습니다.
단순히 복구 가능성이 높다고 해서 반드시 에이전트의 안전한 행동으로 이어지지는 않습니다.

도구를 사용하는 언어 모델(Tool-using language model) 에이전트는 어떤 행동이 허용되는지 결정하기 위해 환경적 사실에 의존합니다. 도구 응답이 안전과 관련된 사실을 누락할 경우, 사용자의 요청이 무해하고 반환된 모든 진술이 참임에도 불구하고 에이전트가 금지된 행동을 수행할 수 있습니다. 우리는 LLM 에이전트의 누락된 증거 하에서의 안전하지 않은 실행(unsafe execution), 안전 경계(safety boundaries), 그리고 증거 복구(evidence recovery)를 평가하기 위한 실행 가능한 벤치마크인 EpiSEM-Bench를 소개합니다. 이 벤치마크는 여섯 가지 도메리에 걸쳐 300개의 일치하는 안전하지 않은/안전한 작업 쌍을 포함하고 있습니다. 핵심 사실들을 체계적으로 억제함으로써, 이 벤치마크는 중요한 증거 누락 하에서의 안전하지 않은 실행을 측정하며, 완전한 증거가 있는 경우와 철저한 테스트 후 관찰된 실패 사례가 없는 경우를 포함하여 최소 관찰 실패 카디널리티(minimum observed failure cardinality)를 결정합니다. 독립적인 감사 도구는 에이전트가 누락된 사실을 찾으려고 시도하는지, 그리고 허용 가능한 작업을 완료하는 동안 금지된 행동을 보류하는지를 테스트합니다. 이 벤치마크는 누락 증거에 대한 견고성(omission robustness), 증거 습득(evidence acquisition), 적절한 행동 측면에서 열 개 모델 간의 상당한 편차를 보여줍니다. 누락 증거에 대한 저항성이 반드시 유용한 복구로 이어지는 것은 아닙니다. 복구 접근성은 모든 열 개 모델의 안전하지 않은 실행을 줄이지만, 에이전트들은 두 세계 모두에서 누락된 사실들을 능동적으로 획득하여 이를 적절하게 행동하는 데 사용하는지 여부에서 차이를 보입니다.

AI 자동 생성 콘텐츠

원문 바로가기

EpiSEM-Bench: 누락된 증거 하에서 LLM 에이전트의 안전성 및 증거 복구 평가

요약

핵심 포인트

댓글