Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment

요약

본 논문은 LLM 기반 에이전트 시스템을 결제 워크플로우에 적용할 때, 기존의 작업 성공률(TSR)이나 핸드오프 점수로는 포착할 수 없는 '워크플로우 충실도'를 측정하는 새로운 지표인 에이전트 성공률(ASR)을 제안합니다. ASR은 관찰된 에이전트 실행 시퀀스와 예상되는 시퀀스를 전환 수준에서 비교하여 경로의 정확성을 평가합니다. HMASP 테스트 결과, 일부 고성능 모델들이 실제 결제 과정 중 필수 체크포인트를 건너뛰는 '숨겨진 워크플로우 단축' 문제를 ASR을 통해 발견할 수 있었으며, 이는 규제 준수 및 신뢰성이 중요한 도메인에서 경로 수준의 평가가 필수적임을 시사합니다.

핵심 포인트

• 기존 LLM 에이전트 성능 지표(TSR, HF1)는 최종 결과만 측정하여 워크플로우의 세부적인 오류를 놓칠 수 있다.
• 새롭게 제안된 '에이전트 성공률(ASR)'은 에이전트 실행 시퀀스를 전환 수준에서 비교하여 경로 충실도를 정밀하게 측정한다.
• 테스트 사례에서, 일부 고성능 모델들이 결제 체크포인트를 체계적으로 건너뛰는 문제를 ASR을 통해 발견했다.
• ASR 진단을 기반으로 한 프롬프트 개선 및 라우팅 가드는 실제 TSR 성능 향상에 매우 효과적이다 (최대 +93.8%p).
• 규제 준수나 복잡한 절차가 중요한 도메인에서는 경로 수준의 평가(Path-level evaluation)가 필수적이다.