OpenAI의 7월 14일 AI 투자 관리 가이드라인은 다섯 가지 조치를 권장합니다: 사용량 및 지출에 대한 가시성 개선, 결과 ROI(투자 대비 수익)를 통한 효율성 평가, 확장 전 고급 워크플로우(workflow) 거버넌스 구축, 복리 효과를 내는 워크플로우에 자금 지원, 그리고 검증된 수요에 맞춘 용량 매칭입니다.

주요 출처: OpenAI, “How to manage AI investments in the agentic era”.

어려운 부분은 분모입니다. “이 에이전트가 800달러를 사용했다”는 말은 별 도움이 되지 않습니다. “이 워크플로우는 검토 및 재작업을 포함하여 승인된 조정(reconciliation) 건당 14달러의 비용이 들었다”라고 해야 의사결정을 뒷받침할 수 있습니다.

다음은 제가 에이전트 파일럿(pilot)을 위해 요구할 한 페이지 분량의 장부입니다.

하나의 승인된 결과(accepted outcome)를 정의하십시오

토큰(tokens), 시트(seats), 또는 실행된 작업(tasks)부터 시작하지 마십시오. 검토 후에 유효한 비즈니스 상태를 정의하십시오.

workflow: vendor-invoice-reconciliation
accepted_outcome: "invoice matched, exceptions reviewed, result posted"
owner: finance-ops
...

사람이 다시 만들어야 한다면 생성된 초안은 결과가 아닙니다. 에이전트의 실행 결과가 기록 시스템(system of record)에 입력되지 않는다면 그 실행은 성공적인 것이 아닙니다.

전체 비용을 캡처하십시오

AI 비용
+ 오케스트레이션(orchestration) 및 관찰 가능성(observability)
+ 인간의 검토(human review)
...

선언된 변수를 사용한 표를 활용하십시오:

total = C_model + C_platform + H_review * R_hour + C_build
cost_per_accepted_outcome = total / N_accept

예시 숫자를 적용하면 총 비용은 $4,375이며, 승인된 결과당 약 $5.15입니다. 이것은 벤치마크 주장이 아닙니다. 모든 값을 측정된 데이터로 교체하십시오.

실제 기준점(baseline)과 비교하십시오

기준점은 동일한 단위와 품질 게이트(quality gate)를 사용해야 합니다:

시도당 비용이 낮다는 것이 낮은 완료율을 숨길 수 있습니다. 중앙값(median)이 빠르다는 것이 수용 불가능한 꼬리(tail) 부분을 숨길 수 있습니다. 시도됨(attempted), 승인됨(accepted), 에스컬레이션됨(escalated), 거부됨(rejected), 그리고 잘못 완료됨(incorrectly completed)의 수치를 보고하십시오.

용량(Capacity)을 구매하기 전에 민감도 분석(Run sensitivity)을 수행하십시오

가장 큰 불확실성은 토큰 가격이 아니라, 종종 인간의 검토(human review)에서 발생합니다.

break_even_review_minutes =
  (baseline_cost_per_outcome - non_review_agent_cost_per_outcome)
  / reviewer_cost_per_minute

다음 세 가지 시나리오를 계산하십시오:

만약 해당 결정이 상승 시나리오(upside case)에서만 유효하다면, 이는 연간 계약(annual commitment)을 맺을 준비가 되지 않은 것입니다.

거버넌스(Governance)를 비용이 산정된 요구사항으로 추가하십시오

고도화된 워크플로우(workflows)는 규모를 확장하기 전에 명시적인 통제 수단(controls)이 필요합니다:

controls:
  approval_owner: finance-ops-lead
  permission_scope: draft-only
...

소유자(owner)나 만료일(expiry)이 없는 통제 수단은 통제가 아니라 선언에 불과합니다. 초안 전용(Draft-only) 액세스는 자동화의 이점(upside)을 줄일 수 있지만, 파일럿(pilot)의 영향 범위(blast radius)를 제한하기도 합니다. 검토 노동 비용과 리스크 감소 효과를 모두 솔직하게 가격에 반영하십시오.

강제 중단 조건 (Hard stop conditions)

다음 중 어느 하나라도 충족되면 중단하거나 재설계하십시오:

• 권한이 없는 돌이킬 수 없는 작업(unauthorized irreversible action)이 한 건이라도 발생할 경우;
• 승인된 결과(accepted-outcome)의 분모를 재구성할 수 없는 경우;
• 실행(runs)의 10% 이상에서 추적 가능한 비용(traceable cost)이 누락되는 경우;
• 검토자들이 캡처된 워크플로우 외부에서 일상적으로 재작업(redo)을 수행하는 경우;
• 두 번의 반복(iterations) 이후에도 하락 시나리오(downside scenario)가 기준선(baseline)을 초과하는 경우;
• 측정되지 않은 수요를 해결하기 위해 용량(capacity)을 구매하고 있는 경우.

품질이 통과되고, 단위 경제성(unit economics)이 예상치 및 하락 시나리오에서도 생존하며, 운영 소유권(operational ownership)이 존재할 때만 규모를 확장하십시오.

에이전틱(agentic) 투자 가이드에서 가장 유용한 부분은 에이전트에 더 많은 비용을 지출해도 좋다는 허가가 아닙니다. 그것은 인프라 소비(infrastructure consumption)에서 워크플로우 결과(workflow outcomes)로의 전환입니다. 워크플로우가 비싼 상태로 남아있는 동안 모델은 더 저렴해질 수 있습니다. 반대로, 비용이 많이 드는 모델이라도 제약이 많고 가치가 높은 단계를 확실하게 제거해 준다면 경제적일 수 있습니다.

현재 귀하의 AI 대시보드에서 누락된 분모(denominator)는 무엇입니까: 승인된 결과(accepted outcomes), 검토자 시간(reviewer time), 재작업(rework), 아니면 실패(failures)입니까?