도구 호출은 의도대로 실행되는가? LLM 에이전트의 의도-실행 일치성 측정 및 복구

대규모 언어 모델(LLMs) 기반 에이전트는 도구 호출을 통해 소프트웨어를 구축하고 실행합니다. 한 호출은 여러 단계를 거쳐 프로그램에 도달하며, 어느 단계에서든 호출이 아무런 통지 없이 변경될 수 있습니다. 변경된 호출이 실패하면, 에이전트는 올바른 호출을 재시도하게 되는데, 이는 사용자에게 시간과 비용을 발생시킵니다. 벤치마크와 실패 분석은 이러한 변화를 감지하지 못합니다. 왜냐하면 그들은 호출과 그 결과를 읽을 뿐, 각 단계가 무엇을 받았는지는 확인하지 못하기 때문입니다. 우리는 의도-실행 일치성(intent-execution correspondence, IEC)을 실행된 동작이 도구 계약 하에서 방출된 호출이 나타내는 동작과 일치하는 속성으로 정의합니다. 우리의 프로토콜은 각 단계가 호출을 실행하지 않고 무엇을 받았는지 관찰하며, 수신자의 자체 파서에 의해 변경된 첫 번째 단계를 명명합니다. IntAct는 이 단계가 변경할 수 없는 형태의 호출을 전달하거나, 호출을 거부합니다. 우리는 널리 사용되는 4가지 하네스(harnesses)의 실행 경로에서 관찰된 변화를 사용하여 IEC-Bench를 구축했습니다. 실제 운영 세션 내 47,828개의 쉘 호출 중 Claude Code의 Bash 도구는 코드, 이스케이프 시퀀스 또는 긴 텍스트를 포함하는 호출의 12.0%를 변경합니다. 백슬래시가 변경된 호출의 80.7%에 대해 오류 보고 없이 잘못된 동작이 실행됩니다. 측정된 모든 10개의 하네스가 호출을 변경합니다. 궤적 기반 판단은 생산 환경 실패의 95.1%를 LLM에 기인하지만, 실제로는 경로가 그중 절반 이상을 유발했습니다. IEC-Bench에서 경로는 처리된 작업당 토큰 비용을 2.4배(최대 12.3배) 증가시킵니다. 호출을 변경하는 단계는 그 이후의 변화도 숨기기 때문에, 하나의 경로에서 발생하는 실패 중 55.1%가 첫 번째 단계가 복구된 후에야 나타납니다. 상용 제품에 배포된 IntAct는 변경된 호출로 인한 실패의 79.2%를 복구합니다. 따라서 하네스는 올바른 호출이 의도대로 실행되거나 거부됨을 보장하기 위해 단계별로 설계 및 테스트되어야 합니다.