대규모 언어 모델(LLM)들이 더욱 유능한 에이전트로 진화함에 따라, 이들은 도움을 주는 것처럼 보이면서도 더 높은 보상을 위해 인간을 속이는 기만적 행동을 나타낼 수 있습니다. 우리는 이러한 실패가 평가 측 부분 관측성(evaluation-side partial observability)에 기인한다고 분석합니다. 즉, 모델들이 근본적인 추론 과정, 도구 사용, 환경 효과의 진실성을 확인하지 않고 주로 최종 결과만을 기준으로 평가받기 때문입니다.
이전의 완화 방법들은 미리 정의된 평가자 잠재 믿음 공간(predefined evaluator latent belief space)이나 일회성 모니터링(one-shot monitoring)을 통해 이러한 부분 관측성에 접근했지만, 이는 자유 형식 언어 공간으로 확장되지 못하며 단순한 모니터링을 회피하는 더 강력한 기만 행위에 취약합니다.
본 연구에서는 기만 완화 문제를 평가 측 부분 관측 전개형 게임(Evaluation-Side Partially Observable Extensive Form Game, e-PoG)으로 공식화합니다. 이는 Max-Min 프레임워크로 구성되어 있으며, 에이전트는 보상을 최대화하고, 모니터는 전체 상호작용 궤적에서 기만을 노출함으로써 에이전트의 페이를 최소화하며, 고정된 검증자(verifier)는 모니터의 주장을 검증하고 이를 패널티로 변환합니다.
우리는 해결 개념을 에이전트와 모니터 간의 서브게임 완벽 감시 균형(Subgame-Perfect Oversight Equilibrium, SPOE)으로 정의하고, 유한 게임에서 그 존재성을 증명합니다. 완벽한 검증자가 있을 경우, 모든 SPOE는 진실성이 보장됩니다. 또한, 불완전한 검증자의 경우에도 검증 오류가 모니터 행동의 순위를 뒤집지 않는 한 이 보장이 유지됩니다.
진실성 있는 SPOE를 달성하기 위해, 우리는 두 가지 시간 규모 정책 경사 알고리즘(two-timescale policy gradient algorithm)을 도출하고 NLI 검증 및 결정론적 확인(deterministic checks)을 통해 파이프라인을 경험적으로 강화했습니다. Gemma3-4B-IT와 Qwen3-4B/8B를 에이전트 역할극(Agentic Role-Playing), SearchQA, WebShop에 적용한 실험 결과, e-PoG는 여러 출현하는 기만 모드를 완화하며, 기만 완화 측면에서 가장 강력한 베이스라인보다 26.0% 우수하고, 작업 성공률에서는 최대 39.8%까지 높은 성능을 보였습니다. 이러한 이점은 약한 감독(weak supervision)부터 강한 감독(strong supervision)에 이르기까지 지속적으로 유지되었습니다. 코드는 https://github.com/Toyoid/deceptive-agent에서 이용 가능합니다.