Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment

LLM 기반 다중 에이전트 시스템은 결제 워크플로우에 점점 더 많이 배포되고 있으나, 기존 지표인 작업 성공률 (Task Success Rate, TSR) 과 에이전트 핸드오프 F1 점수 (Agent Handoff F1-Score, HF1) 는 최종 결과나 순서 없는 라우팅 결정만 포착합니다. 우리는 관찰된 에이전트 실행 시퀀스와 예상된 에이전트 실행 시퀀스를 전환 수준에서 비교하여 성능을 전환 회상 (Transition Recall) 과 전환 정밀도 (Transition Precision) 로 분해하는 경로 충실도 지표인 에이전트 성공률 (Agentic Success Rate, ASR) 을 소개합니다. HMASP(Hierarchical Multi-Agent System for Payments) 에 18 개의 LLM 과 90,000 개의 작업 인스턴스를 적용한 결과, ASR 는 18 개 모델 중 10 개가 결제 체크아웃 동안 확인 체크포인트를 체계적으로 건너뛰는 것을 드러냈으며, 이는 TSR 와 HF1 에 의해 보이지 않는 편차입니다. 반면 8 개 모델은 체크포인트를 완벽하게 강제합니다. 특히 GPT-4.1 은 완벽한 TSR 와 HF1 을 달성함에도 불구하고 숨겨진 워크플로우 단축을 보였으며, GPT-5.2 는 완벽한 ASR 을 달성했습니다. ASR 진단에 의해 유도된 프롬프트 정제와 결정론적 라우팅 가드는 실질적인 TSR 개선 효과를 보여주며, 기존에 어려움을 겪던 모델의 경우 최대 +93.8 퍼센트 포인트의 향상을 보였습니다. 이는 규제된 도메인에서 경로 수준의 평가가 필수적임을 증명합니다.