보정은 통제가 아니다: LLM-Agent 감독에 개입(Intervention)이 필요한 이유

LLM 에이전트(LLM-agent)를 위한 런타임 감독(Runtime oversight)은 일반적으로 스칼라 위험 예측(scalar risk prediction)으로 프레임화됩니다. 즉, 실패 가능성, 신뢰도(confidence) 또는 불확실성(uncertainty)을 추정하고, 점수가 임계값을 넘으면 개입(intervene)하는 방식입니다. 우리는 이러한 프레임화가 통제를 위한 잘못된 대상을 목표로 하고 있다고 주장합니다. 관련 질문은 에이전트가 계속 진행할 경우 실패할 가능성이 얼마나 높은가가 아니라, 가용한 개입(intervention)이 결과를 개선할 수 있는지 여부입니다. 두 개의 궤적 접두사(trajectory prefixes)는 서로 다른 행동을 요구할 수 있음에도 동일한 위험 추정치를 가질 수 있는데, 이는 하나는 회복 가능(recoverable)하지만 다른 하나는 그렇지 않기 때문입니다. 우리는 이러한 불일치를 타겟 오류(target error)로 공식화하고, 계속 진행하는 대신 개입함으로써 얻는 기대 효용 이득인 개입 이점(intervention advantage)을 감독을 위한 의사결정 객체(decision object)로 정의합니다. 이 불일치를 측정하기 위해, 우리는 동일한 궤적 상태에서 후보 행동들을 실행하는 동일 접두사 반사실적 프로토콜(same-prefix counterfactual protocol)인 접두사 분기(prefix branching)를 도입합니다. 4개의 벤치마크 전반에 걸쳐, 행동 조건부 통제(action-conditioned control)는 스칼라 라우팅(scalar routing)에 비해 환경 의존적인 이득을 제공합니다. 보정 분해(calibration decomposition)에서, 동일한 스칼라 점수를 재보정(recalibrating)하면 예측 지표는 개선되지만 통제 후회(control regret)는 변하지 않으며, 이는 보정(calibration)만으로는 타겟 오류를 해결할 수 없음을 보여줍니다. 단순한 접두사 전용 행동 조건부 컨트롤러(prefix-only action-conditioned controller)는 가장 강력한 상호작용 환경(interactive regime)에서 ALFWorld의 후회를 0.506에서 0.110으로 상당히 감소시킵니다. 개입이 약하거나 스칼라 라우팅이 이미 개입 관련 정보를 보존하고 있는 경우에는 이득이 줄어듭니다. 이러한 결과는 LLM-에이전트 감독이 보정된 위험 점수 산출(calibrated risk scoring)에서 행동 조건부 가치 추정(action-conditioned value estimation)으로 이동해야 함을 시사합니다.