LLM 에이전트와 쓰기 동작 사이에 컨포멀 리스크 제어 게이트를 적용한 결과 (tau-bench)

제 에이전트는 자신이 100% 확신한다고 말했습니다. 사용자는 주문에서 두 가지 항목을 변경하도록 요청했습니다. 하지만 에이전트는 한 가지만 변경했습니다. 그래서 저는 gate-calibrated(게이트 보정) 시스템, 즉 도구를 사용하는 에이전트와 환경 사이에 장벽을 만들었습니다. 쓰기 동작(주문 수정, 결제 수단 변경 등)이 발생하기 전에 이 게이트는 두 가지 신뢰도 신호를 계산합니다. 첫째는 모델 자체의 확률 추정치이고, 둘째는 k개의 재샘플링된 다음 동작들의 일치 정도입니다. 이를 보정된 성공 확률로 매핑하고 임계값과 비교합니다. 이 임계값은 컨포멀 리스크 제어(conformal risk control)에서 나옵니다. 사용자가 앨파($ ext{alpha}$) 값을 선택하면, 그 경계는 질문 없이 잘못된 쓰기 동작을 실행하는 대화의 비율을 목표로 합니다. 취소, 반품, 교환과 같은 비가역적 단계(irreversible tier)의 동작은 제가 비교한 모든 정책 하에서 항상 질문합니다. 이 시스템은 ToolChain-CRC (arXiv 2606.18467)와 CORA (arXiv 2604.09155)에 제시된 아이디어를 구현한 오픈 소스입니다.

tal-bench 리테일 환경에서 평가했으며, 총 3,340개의 시뮬레이션 대화가 진행되었고, 에이전트와 시뮬레이션 사용자는 모두 glm-5.3-flash를 사용했습니다. 리스크 제어는 작동했습니다. $ ext{alpha}$가 0.02일 때, 460개의 테스트 대화 중 1.7%에서 질문 없이 잘못된 쓰기 동작이 실행되었습니다. $ ext{alpha}$가 0.05일 때는 3.7%였습니다. 0.10과 0.20에서는 각각 3.0%였습니다. 이 모든 수치는 포인트 추정치(point estimates)로, 신뢰 구간(CIs)이 넓기 때문에 목표치 이하에 있었습니다. 왜냐하면 460개의 궤적(trajectories)은 많지 않기 때문입니다.

트레이드오프 곡선: 실행된 잘못된 쓰기 동작 대 요청된 승인 (https://preview.redd.it/6yjfiph4mlvh1.png?width=1050&format=png&auto=webp&s=dc280e5abbc7d2043f64476fd44b945ca01d6c2a)

게이트는 그렇지 못했습니다. $ ext{alpha}$가 0.10 이상일 때, 학습된 임계값이 너무 낮아서 게이트는 쓰기 동작에 대해 절대 질문하지 않게 되며, 이는 고정된 0.7 신뢰도 차단점(confidence cutoff)을 가진 정책과 동일하게 만듭니다. $ ext{alpha}$가 0.02일 때는 많이 질문하며, 승인당 0.058개의 잘못된 쓰기 동작을 방지합니다. 이는 모든 쓰기를 확인하는 경우의 0.062개(차이 CI [-0.04, 0.03])보다 적습니다. 모든 쓰기를 확인하는 경우도 실행된 잘못된 쓰기 동작은 0으로 만들 수 있지만, 대화당 승인 수는 1.57회입니다. 보정된 게이트는 어떤 $ ext{alpha}$ 값에서도 0에 도달할 수 없습니다. 진단이 제가 계속 되돌아오는 부분입니다.

제가 수집한 549개의 쓰기 단계 중 548개에서 구두화된 신뢰도(Verbalized confidence)가 0.9 이상이었습니다. 여기에는 잘못된 경우 43개가 모두 포함됩니다. 5번의 재샘플링에 대한 자기 일치도(Self-agreement)는 780단계 중 758단계에서 0.9 이상이었습니다. 두 신호 모두 포화 상태(saturated)였기 때문에, 보정기(calibrator)는 주로 기본 비율(base rate)과 하나의 실제 특징만을 학습했습니다. 바로 단계 위치에 부여하는 가중치(-0.80 on log(1 + step index))로, 나중 단계일수록 위험하다는 것을 의미합니다. 대화에서의 위치가 신뢰도가 담당해야 할 역할을 수행하고 있습니다. 코드, 데이터 및 부정적인 결과: https://github.com/Gjusev/gate-calibrated 구두화된 신뢰도와 자기 일치도가 쉬운 벤치마크에서도 이렇게 포화 상태라면, 쓰기 단계를 대신 무엇으로 순위를 매길 수 있을까요? 별도의 검증 모델(verifier model)로 도구 인자(tool arguments)를 확인하는 건 어떨까요, 아니면 다른 것이요? /u/Gjuesev 님이 제출했습니다 [링크] [댓글]