에이전트 워크플로우, 특히 경계가 있는(bounded) 워크플로우에서 일반적인 관찰은 다음과 같습니다. 즉, 의사결정을 생성(generation)과 분리할 때, LLM의 결정 공간은 포화 상태에 도달하기 시작한다는 것입니다. 에이전트는 같은 상태를 반복적으로 만나게 되며, 충분한 대화를 거치면 새로운 상태를 만나는 것을 멈춥니다. LLM은 일반적으로 이러한 결정을 최적화 문제로 다루지 않고, 대신 매 턴마다 컨텍스트/프롬프트로부터 재도출합니다. 우리는 합리적인 범위 내의 의사결정 과정을 최적화 문제로 취급하고, 이를 한 번 해결한 후 그 결과를 재사용하는 것이 에이전트를 더 빠르고, 저렴하며, 신뢰성 있게 만들 수 있음을 보여줍니다. 우리가 Discretize, Then Decide라고 부르는 이 접근 방식은 워크플로우 자체의 로그와 같은 데이터를 사용하거나, 데이터가 없을 경우 LLM 에이전트 자체의 실행 결과를 기반으로 합니다. 이는 각 대화를 이산적인 상태(discrete states)로 읽어들이고, 새로운 상태가 나타나지 않고 확률 변화가 멈출 때까지 각 결과의 확률과 각 이동(move)의 비용을 추정합니다. 그런 다음 그 결과로 생성된 마르코프 결정 과정(Markov decision process)을 해결합니다. 이 해법은 모델 주변에서 컨트롤러(controller)처럼 작동하여, 도구 호출(tool call)이나 템플릿화된 답변과 같이 상태에 고정된 내용을 가진 이동을 보내고, 자신이 본 적 없는 모든 상태는 LLM으로 다시 전송합니다. 우리는 이러한 방식으로 실행되는 LLM을 리처드 벨만(Richard Bellman)의 각 상태에서의 최적 이동 방정식을 따르기 때문에 Bellman Language Model (BLM)이라고 부릅니다. $ au^2$-bench 통신 분야에서, 모델이 없는 컨트롤러는 79%의 작업을 해결합니다. 오픈 모델인 Qwen3.8-27B를 BLM로 사용했을 때, 29%에서 96%로 성능이 향상되었으며 모델 호출은 93% 감소했습니다. 자체적으로 96%의 작업을 해결하는 Claude Opus 5.5의 경우, 이를 BLM로 실행하면 모델 호출과 작업당 비용을 약 98% 절감하고 2개의 작업을 더 해결할 수 있게 합니다. InventoryBench에서는, 모델이 없는 상태에서 해결된 정책(solved policy)이 발표된 모든 방법을 능가했습니다. 콘텐츠를 작성하는 것이 이동을 선택하는 것보다 어려운 경우, 예를 들어 SymPy 문제를 해결하는 경우처럼, 미리 해결할 수 있는 결정은 적으며 BLM의 도움은 미미합니다.