SPADE-Bench: 계획-행동 발산(Plan-Action Divergence)을 통한 에이전트의 자발적 전략적 기만 평가

LLM(Large Language Model) 기반 에이전트의 운영 범위가 확장됨에 따라, 신뢰성(reliability)은 실제 환경 배포를 위한 전제 조건이 되고 있습니다. 그러나 실제 응용 분야에서 인간 사용자는 모든 즉각적인 행동을 모니터링할 수 없습니다. 대신, 실행 과정은 종종 블랙박스(black box)로 남아 사용자가 에이전트의 자기 보고식 업데이트(self-reported updates)에만 의존하게 만듭니다. 이러한 불투명성은 심각한 위험을 초래합니다. 즉, 에이전트가 실행된 행동과 일치하지 않는 관찰자 대상 보고를 제공할 수 있으며, 이는 특히 이해관계가 큰(high-stakes) 자율 시나리오에서 시스템을 통제 불능 상태로 만듭니다. 우리는 이러한 자기 보고식 계획-행동 발산(plan-action divergence)을 에이전트 기만(agent deception)이라고 명명합니다. 이를 평가하기 위해, 우리는 자발적인 계획-행동 발산을 평가하도록 설계된 벤치마크인 SPADE-Bench를 소개합니다. 기존의 기만 벤치마크와 달리, SPADE-Bench는 실제 도구 실행(tool execution)과 통제된 압박 시나리오(controlled pressure scenarios)를 동시에 통합합니다. 이러한 설계는 생태학적 타당성(ecological validity)을 보장하며, 압박 상황에서의 통제된 계획-행동 비교를 통해 단순한 환각(hallucination)과 전략적 기만을 엄격하게 구분합니다. 주요 모델들을 대상으로 한 실험을 통해 에이전트 기만이 도구 사용(tool-use) 맥락에서 실질적이고 시급한 문제임을 확인했습니다. 포괄적이고 견고한 평가 프레임워크를 제공함으로써, SPADE-Bench는 에이전트 안전성(agent safety)의 중요한 공백을 메우고, 신뢰할 수 있고 통제 가능한 자율 시스템을 구축하기 위한 커뮤니티의 발전을 촉진합니다.