프로덕션 LLM 에이전트를 위한 런타임 아키텍처 패턴 선택 및 구성 방법론

프로덕션 LLM 에이전트(Production LLM agents)는 확률적 모델 출력(stochastic model outputs)과 결정론적 소프트웨어 시스템(deterministic software systems)을 결합하지만, 이 둘 사이의 경계는 일급 아키텍처 객체(first-class architectural object)로 다뤄지는 경우가 거의 없습니다. 본 논문은 이 경계를 확률적-결정론적 경계(stochastic-deterministic boundary, SDB)라고 명명합니다. 이는 제안자(proposer), 검증자(verifier), 커밋 단계(commit step), 거부 신호(reject signal) 사이의 4부 구성 계약(four-part contract)으로, LLM 출력이 어떻게 시스템 동작(system action)으로 변환되는지를 규정합니다. 우리는 SDB가 프로덕션 에이전트 런타임(production agent runtimes)의 하중을 견디는 기본 요소(load-bearing primitive)라고 주장합니다. 이 기본 요소를 중심으로, 우리는 에이전트 런타임 설계를 조정(Coordination), 상태(State), 제어(Control)라는 세 가지 관심사로 조직화합니다. 우리는 대화형(conversational), 자율형(autonomous), 장기 계획형(long-horizon) 에이전트에 따라 SDB를 다르게 구성하는 6가지 런타임 패턴 카탈로그를 제시합니다: 계층적 위임(hierarchical delegation), 스캐터-게더 및 사가(scatter-gather plus saga), 이벤트 기반 시퀀싱(event-driven sequencing), 공유 상태 머신(shared state machine), 감독자 및 게이트(supervisor plus gate), 그리고 인간 참여(human in the loop). 각 패턴에 대해, 우리는 분산 시스템(distributed-systems) 개념과의 계보를 추적하고, 작업자(worker)가 확률적일 때 무엇이 변하는지를 식별합니다. 본 논문은 런타임 패턴을 선택하기 위한 5단계 방법론, 프로덕션 실패를 패턴의 약점과 매핑하는 진단 절차, 그리고 리플레이 발산(replay divergence)이라 불리는 실패 모드를 기여합니다. 리플레이 발산이란 결정론적 이벤트 로그(deterministic event log)를 사용하는 LLM 기반 소비자(consumers)가 모델 버전이나 프롬프트(prompt) 변경 시 서로 다른 다운스트림 출력(downstream outputs)을 생성하는 현상을 말합니다. 정형화된 신뢰성 분해(reliability decomposition)를 통해 호출당 모델 분산(per-call model variance)과 아키텍처 모멘텀(architectural momentum)을 분리하며, 모델 분산이 감소함에 따라 패턴 선택과 SDB의 강도가 장기적 신뢰성을 위한 점점 더 중요한 레버(levers)가 된다는 주장을 뒷받침합니다. 우리는 이 방법론을 5가지 워크로드(workloads)에 적용하고, 90일 계약 갱신 에이전트를 위한 실행 가능한 참조 구현(runnable reference implementation) 하나를 제공합니다.