토큰 예산: 63건의 LLM-Agent 예산 초과 사례에 대한 실증적 카탈로그와 Affine-Typed Rust 완화 방안 사례 연구

LLM-Agent (Large Language Model Agent)의 예산 초과(budget overruns)는 이미 기록된 운영 실패 유형 중 하나입니다. 단 한 번의 재시도 루프(retry loop)가 운영자가 인지하기도 전에 수천 달러를 소모할 수 있으며, 이를 방지할 수 있는 프로세스 내 무결성 속성(aliasing 없음, 이중 지불 없음, 비용 발생 값의 위임 후 사용 방지 등)은 타입 시스템(type system)에 의해 강제되기보다는 임시방편적인 래퍼(ad-hoc wrappers)에 의해, 그마저도 불완전하게 강제되는 실정입니다.

본 연구의 핵심 기여는 실증적인 측면에 있습니다. 21개의 오케스트레이션 프레임워크(orchestration frameworks, 2023-2026)에서 확인된 63건의 실제 운영 사고 카탈로그를 구축하였으며, 각 사례는 인용된 GitHub 이슈와 보고된 경우 달러 손실액을 포함하고 있습니다. 이는 8개의 클러스터 실패 분류 체계(inter-rater Cohen's kappa = 0.837, N = 113)로 정리되었으며, 47개의 보충적인 구조적 항목이 추가되었습니다.

이 분류 체계를 바탕으로 평가된 하나의 완화 방안으로서, 본 연구는 token-budgets를 구축했습니다. 이는 1,180라인의 Rust 크레이트(crate, unsafe 미사용)로, 아핀 소유권(affine ownership)을 구현하여 복제(cloning), 이중 지불(double-spending), 또는 예산 위임 후 사용(using a budget after delegating it)이 운영자가 주의해야 할 런타임 위험(runtime hazards)이 아닌 컴파일 에러(compile errors)가 되도록 합니다. 달러 한도(dollar cap)는 추정치 가정 하의 런타임 산술 연산(runtime arithmetic)으로 처리되며, 아핀 계층(affine layer)은 해당 산술 연산을 우회할 수 없게(non-bypassable) 만듭니다.

단일 에이전트 워크로드에서는 4라인의 Python 카운터가 0/30 초과(overshoot)로 해당 크레이트와 동일한 성능을 보였으나, 차별화된 가치는 다중 에이전트 위임(multi-agent delegation) 시 운영자 실수 상황에서의 우회 불가능성(non-bypassability)에 있습니다. 11건의 사고에서 기록된 위임 확산 경합(delegation-fanout race)은 컴파일 타임에 빌로우 체커(borrow checker)에 의해 거부되는 반면, asyncio 환경에서의 동일한 패턴은 30/30 건을 모두 초과하며, 세 가지 절제된 대안들은 0/30 건을 초과합니다.

5개의 런타임, 3개의 제공업체, 그리고 온도 계층화된 라이브 API 테스트(N = 160)를 통해, 이 접근 방식은 한도 위반 0건 및 잘못된 거부(false refusals) 0건을 기록하며 기존 병행 연구들과 운영상 대등한 성능을 보여주었습니다. 정적 과다 예약(Static over-reservation)은 4-6배(적응형의 경우 2.11배)입니다. 실행 중인 바이너리에서의 바이너리 수준 한도 건전성(Binary-level cap-soundness)은 향후 과제로 남겨두었습니다.