2026년 7월 28일, Microsoft의 “Path to production for agents” Azure AI Tech Accelerator는 AgentOps, 멀티 에이전트 오케스트레이션 (multi-agent orchestration), 거버넌스가 적용된 데이터 액세스 (governed data access), 그리고 워크로드 최적화 (workload optimization)를 프로덕션 체크리스트에 포함시켰습니다.

이러한 프레임워크는 개발자들에게 매우 중요한데, 에이전트의 비용은 단일 모델 요청 (model request) 하나에 국한되지 않기 때문입니다. 비용은 실행 경로 (execution path) 전체에서 발생합니다.

수락 이벤트 (acceptance event)부터 시작하기

생성된 응답이 반드시 사용 가능한 결과인 것은 아닙니다. 멀티 에이전트 시스템은 컨텍스트를 검색하고, 도구를 호출하며, 실패한 단계를 재시도하거나, 평가를 통해 작업을 라우팅하고, 사람의 검토를 기다리거나, 출력을 완전히 거부할 수도 있습니다. 각 분기점은 워크플로가 비즈니스가 수락할 수 있는 결과물을 생성하기 전에 비용을 소모할 수 있습니다.

이것이 바로 토큰당 비용 (cost per token) 개념이 너무 좁은 이유입니다. 유효한 단위는 '수락된 결과당 비용 (cost per accepted outcome)'입니다. 즉, 전체 워크플로 비용을 정의된 수락 경계 (acceptance boundary)를 통과한 작업으로 나눈 값입니다. 만약 거부된 실행 (rejected runs)이 분모에서 사라진다면, 이 지표는 신뢰할 수 없는 시스템을 효율적인 것처럼 보이게 만들 수 있습니다.

모델을 선택하기 전에 수락 (acceptance) 기준을 정의하십시오. 그렇지 않으면 추론 (inference), 검색 (retrieval), 도구 (tool), 검토 (review) 및 실패 비용을 비교할 수 있는 안정적인 결과값이 존재하지 않게 됩니다.

전체 실행 경로 추적하기

실질적인 FinOps 추적은 실행 경로를 최종 상태와 연결해야 합니다. 다음 지도를 바탕으로 시작하십시오:

1. 수락된 출력 (Accepted output): 완료된 사용 가능한 작업이 무엇을 의미하는지 정의합니다.
2. 데이터 의존성 (Data dependencies): 실행에 필요한 거버넌스 데이터 및 검색 단계를 식별합니다.
3. 도구 작업 (Tool actions): 어떤 외부 도구가 작동할 수 있는지, 그리고 그 비용이 어디에서 발생하는지 기록합니다.
4. 검토 게이트 (Review gates): 평가 및 사람의 검토 단계를 무료 오버헤드로 취급하지 말고 별도로 표시합니다.
5. 실패 경계 (Failure boundaries): 무한한 재시도를 통해 계속 진행하는 대신, 실행이 중단되는 지점을 정의합니다.
6. 결과 원장 (Outcome ledger): 추론, 검색, 도구, 재시도, 평가, 검토, 실패 및 거부된 작업을 동일한 실행 (run)에 귀속시킵니다.

이러한 관점은 저렴한 모델 호출이 비용이 많이 드는 경로를 숨기는 것을 방지합니다. 또한 비용이 수락(acceptance) 전, 도구 경계(tool boundary), 또는 검토(review) 중에 집중되는지 여부를 드러냅니다.

부수 효과(side effects)를 활성화하기 전 권한 제한하기

마케팅 에이전트는 거버넌스 요구사항을 구체화합니다. 에이전트가 CRM 레코드를 업데이트하거나, 콘텐츠를 게시하거나, 메시지를 보내거나, 광고 지출을 변경하기 전에, 에이전트는 제한된 권한(bounded permissions)과 명시적인 중단 조건(stop conditions)을 가져야 합니다.

이러한 제어 장치는 경제적 제어 장치이기도 합니다. 계속해서 재시도하거나 외부 작업을 반복적으로 호출할 수 있는 실행 경로는 유용한 비용 경계(cost boundary)가 없습니다. 팀은 워크플로가 어디에서 멈춰야 하는지, 그리고 프로덕션 액세스가 허용되기 전에 어떤 작업에 게이트(gate)가 필요한지를 결정해야 합니다.

이것이 비결정론(non-determinism)을 제거하는 것은 아닙니다. 다만 비결정론적 실행이 할 수 있는 일에 제한을 두는 것입니다.

적용 가능한 범위에 대해 프롬프트 캐싱(prompt caching) 사용하기

Microsoft는 지원되는 조건이 적용될 때 안정적이고 반복되는 접두사(prefixes)를 자동으로 할인하여 프롬프트 캐싱(prompt caching)이 입력 비용을 줄일 수 있다고 말합니다. 이는 재사용 가능한 프롬프트 구조를 가진 워크로드에 대한 구체적인 최적화입니다.

이것은 워크플로 FinOps의 대체재가 아닙니다. 캐싱된 접두사가 검색(retrieval), 도구(tools), 재시도(retries), 평가(evaluation), 인간 검토(human review), 실패(failures), 또는 거부된 출력(rejected output)의 비용을 제거하지는 않습니다. 캐싱 조건을 확인하고, 입력 절감액을 파악하며, 다운스트림 경로(downstream path)를 계속 측정하십시오.

검토 비용을 가시화하기

평가(evaluation)와 인간 검토(human review)는 실제적인 트레이드오프(tradeoff)를 생성합니다. 이들은 실행(run)에 비용을 추가하지만, 이를 제거한다고 해서 자동으로 수락된 결과(accepted outcome)가 만들어지는 것은 아닙니다. 단순히 지출이 거부된 작업(rejected work)이나 안전하지 않은 부수 효과(unsafe side effects)로 이동할 뿐일 수 있습니다.

따라서 엔지니어링 결정은 "검토를 할 것인가 말 것인가"가 아닙니다. 어떤 게이트가 필요한지, 그것이 무엇을 보호하는지, 그리고 그 비용이 수락된 결과에 의해 정당화되는지 여부입니다. 검토 지연 시간(review latency)은 도구 지연 시간(tool latency) 및 재시도 비용(retry cost)과 동일한 트레이스(trace)에 포함되어야 합니다.

자율 콘텐츠 워크플로에 방법론 적용하기

Van Data Team의 자율 SEO, GEO 및 AEO 콘텐츠 에이전트인 Vanaxity는 조사, 작성, 삽화, 검토, 게시 및 신디케이션(syndication) 전반에 걸쳐 이 규율을 적용합니다. 모든 전환 단계에서는 데이터 의존성(data dependency), 게이트(gate), 재시도(retry) 또는 거부된 산출물(rejected artifact)이 발생할 수 있습니다.

시퀀스(sequence)는 수락된 출력(accepted output), 필수 데이터, 검토 게이트(review gates) 및 실패 제한(failure limits)에서 시작됩니다. 모델 선택은 그 지도(map)가 작성된 이후에 이루어집니다. 이를 통해 모델 품질을 적절한 위치에 둡니다. 즉, 모델 품질은 중요하지만, 디지털 SDR, 캠페인 매니저 또는 콘텐츠 에이전트를 프로덕션(production) 단계로 준비시키기에 충분한 요소는 아닙니다.

프로덕션 테스트

에이전트를 프로토타입(prototype)에서 프로덕션으로 승격시키기 전에, 팀이 에이전트의 수락된 결과(accepted outcome)를 명시할 수 있는지, 모든 비용을 실행(run) 단위로 추적(trace)할 수 있는지, 관리되는 데이터(governed data)를 식별할 수 있는지, 재시도를 중단할 수 있는지, 그리고 결과적인 행동(consequential actions)을 제한할 수 있는지 자문해 보십시오. 만약 어떤 답변이라도 불분명하다면, 더 낮은 토큰 가격도 근본적인 문제를 해결해주지 못할 것입니다.

프로덕션 에이전트는 팀이 모델 요청(model request)뿐만 아니라 전체 워크플로(workflow)를 제어할 때 경제적으로 실행 가능해집니다.

오늘날 귀하의 에이전트 시스템에서 어떤 이벤트가 수락된 결과(accepted outcome)를 나타내며, 어떤 비용을 그 결과에 연결하는 것이 여전히 가장 어렵습니까?

📖 가이드 전문 읽기 → FinOps for AI Agents: Microsoft's Path to Production