보정은 통제가 아니다: LLM-Agent 감독에 개입(Intervention)이 필요한 이유

요약

LLM 에이전트의 런타임 감독 시 단순 위험 점수(calibration) 대신, 개입을 통해 결과를 개선할 수 있는지 판단하는 '개입 이점(intervention advantage)' 개념을 제안합니다. 연구 결과, 행동 조건부 가치 추정이 기존의 스칼라 위험 예측보다 에이전트 제어에 더 효과적임을 입증했습니다.

핵심 포인트

• 단순 위험 점수 기반의 개입은 통제 오류를 해결하지 못함
• 개입을 통해 얻는 기대 효용인 '개입 이점'을 의사결정 객체로 정의
• 접두사 분기(prefix branching) 프로토콜을 통한 불일치 측정 방법 도입
• 행동 조건부 통제가 스칼라 라우팅보다 우수한 성능을 보임