CIVeX: 언어 에이전트의 인과 개입 검증 (Causal Intervention Verification)

요약

본 논문은 언어 에이전트가 수행하는 행동이 실제로 인과적 효과를 갖는지 검증하는 '인과 개입 검증기(CIVeX)'를 제안합니다. 기존의 안전장치들은 단순히 스키마나 출처만 확인할 뿐, 상태 변경에 따른 진정한 인과적 영향을 보장하지 못하기 때문에, CIVeX는 구조적 인과 쿼리를 사용하여 행동을 분석하고 EXECUTE, REJECT, EXPERIMENT, ABSTAIN 네 가지 판결 중 하나를 반환합니다. 실험 결과, CIVeX는 중간 및 적대적 교란 상황에서 오탐지 실행(false executions)을 '제로'로 달성하며, 기존의 LLM 기반 검증기들보다 훨씬 높은 신뢰성과 정확도를 입증했습니다.

핵심 포인트

• 언어 에이전트의 안전성은 단순한 스키마/출처 확인을 넘어, 행동의 인과적 개입(causal intervention) 식별 가능성 검증이 필수적이다.
• CIVeX는 구조적 인과 쿼리를 사용하여 제안된 행동-상태 그래프를 분석하고, EXECUTE, REJECT, EXPERIMENT, ABSTAIN 네 가지 판결을 내린다.
• CIVeX는 적대적 교란(adversarial confounding) 환경에서 오탐지 실행률을 '제로'로 달성하며, 기존 LLM 기반 검증기보다 월등히 높은 성능을 보인다.
• 신뢰할 수 있는 도구 사용의 핵심은 행동 자체의 유효성이 아니라, 그 행동이 인과적으로 식별 가능한 개입인지 여부이다.