2026년 7월 17일, Fortune은 OpenAI의 CFO Sarah Friar가 제안한 관점인 "달러당 유용한 지능 (useful intelligence per dollar)"을 보도했습니다. 에이전트 (agents)를 출시하는 개발 팀에게 있어, 이것이 바로 중요한 측정 방식의 전환입니다. 즉, 토큰 (token) 사용량을 주요 ROI 신호로 취급하는 것을 멈추고, 에이전트가 검토자가 수락한 결과물을 만들어냈는지 묻기 시작하는 것입니다.

성공적인 태스크당 비용 (Cost per successful task)은 제가 CI의 모든 에이전트 실행 옆에 두고 싶은 지표입니다.

수락된 작업량이 일정하게 유지되는 동안 토큰이 감소한다면, 당신은 워크플로우 (workflow)가 아니라 추론 (inference)을 최적화한 것입니다.

왜 토큰이 잘못된 분모인가

토큰 비용은 용량 계획 (capacity planning)에 유용합니다. 사용자 라이선스 (Seat licenses)는 액세스 제어에 유용합니다. 하지만 둘 중 어느 것도 에이전트가 신뢰할 수 있는 출력을 생성했는지는 알려주지 않습니다.

이러한 구분은 자동화된 SDR, 카피 에이전트 (copy agents), 미디어 구매 오케스트레이터 (media-buying orchestrators), 또는 Van Data Team의 검토 게이트가 적용된 SEO, GEO, AEO 에이전트와 같은 Vanaxity의 콘텐츠 파이프라인 (content pipelines)을 구축하는 개발 팀에게 매우 중요합니다. 이러한 시스템은 메시지 전송, 페이지 초안 작성, 변형 생성, 입찰 예약, 인계 아티팩트 (handoff artifacts) 등 하루 종일 눈에 보이는 활동을 만들어낼 수 있습니다.

활동이 곧 성공은 아닙니다.

만약 인간이 결과물을 거부하거나, 프롬프트 (prompts)를 다시 실행하거나, 데이터 오류를 수정하거나, 지원되지 않는 주장을 정리하거나, 다운스트림 (downstream)에서 아티팩트를 다시 구축해야 한다면, 낮은 토큰 청구액은 여전히 값비싼 워크플로우를 숨기고 있을 수 있습니다.

수락된 태스크부터 시작하세요

"달러당 유용한 지능" 이면에 있는 중요한 변화는 새로운 대시보드 위젯이 아닙니다. 그것은 측정을 모델 소비 (model consumption)에서 신뢰할 수 있는 완료된 작업 (dependable completed work)으로 옮기는 것입니다.

엔지니어링 팀을 위해, 저는 이를 하나의 규칙으로 번역하겠습니다:

태스크가 안정적인 품질 기준 (quality bar)을 통과한 후에만 카운트하십시오.

그 기준은 두 명의 검토자가 동일한 방식으로 적용할 수 있을 만큼 충분히 명시적이어야 합니다. 코드 에이전트 (code agent)의 경우, 패치 (patch)가 빌드되고, 테스트를 통과하며, 리뷰 코멘트가 해결되는 것일 수 있습니다. SDR 에이전트의 경우, 메시지가 규정을 준수하는 타겟팅, 정확한 회사 컨텍스트, 그리고 조작되지 않은 개인화(personalization)를 갖추어야 할 수도 있습니다. AI 카피라이터 (AI copywriter)의 경우, 수락된 작업이란 초안이 브리프 (brief)와 일치하고, 출처가 있는 사실을 사용하며, 일반적인 편집만 필요함을 의미할 수 있습니다.

앞서 언급한 마케팅 및 영업 사례는 제가 회계 패턴 (accounting pattern)을 적용해 본 예시일 뿐, OpenAI의 권장 사항은 아닙니다. 더 넓은 원칙은 간단합니다. 완료된 작업이 수락되기까지 필요한 전체 비용과 대조하여 측정하십시오.

전체 경로를 비용으로 산정하십시오

간단한 공식은 다음과 같습니다:

성공적인_태스크_당_비용 = 전체_워크플로우_비용 / 수락된_태스크_수

어려운 부분은 분자입니다.

전체 워크플로우 비용에는 추론 (inference) 비용 이상의 항목이 포함되어야 합니다. 모델 사용 비용, 오케스트레이션 (orchestration), 소프트웨어 라이선스, 검색 (retrieval) 또는 데이터 서비스, 인간의 검토 (human review), 실패한 실행, 재시도 (retries), 재작업 (rework), 그리고 정리 (cleanup) 비용을 모두 계산하십시오. 동일한 태스크가 수락되기 전까지 여러 번의 시도와 검토자의 확인 과정을 거쳤다면, 그 모든 과정이 해당 수락된 태스크에 귀속됩니다.

구체적인 추적 체인을 구축하는 것이 도움이 됩니다:

• 사용량 (Usage): 토큰 (tokens), 컴퓨팅 (compute), 시트 (seats), API 호출.
• 시도 (Attempts): 태스크를 완료하려고 시도한 모든 에이전트 실행.
• 완료 (Completions): 에이전트가 완료되었다고 주장한 태스크.
• 수락된 작업 (Accepted work): 품질 게이트 (quality gate)를 통과한 완료 항목.
• 비즈니스 가치 (Business value): 검증된 매출, 비용 절감, 리스크 감소 또는 기타 측정 가능한 영향.

이 항목들은 서로 다른 질문에 답하기 때문에 별도로 관리해야 합니다. 토큰 비용은 추론이 얼마나 비쌌는지를 묻습니다. 시도는 자동화가 얼마나 바쁘게 돌아갔는지를 묻습니다. 수락된 작업은 시스템이 사용 가능한 출력을 생성했는지를 묻습니다. 비즈니스 가치는 그 출력이 실제로 의미가 있었는지를 묻습니다.

에이전트에 내재화하십시오

이를 월말에 수행하는 재무적 연습으로 남겨두지 마십시오. 태스크 회계 (task accounting)를 워크플로우에 직접 포함시키십시오.

에이전트가 시작될 때 태스크 ID (task id)를 발행하십시오. 각 시도, 검토자의 결정, 재시도 원인, 그리고 수락 상태를 기록하십시오. 정의는 시간이 지나며 변할 수 있으므로, 결과와 함께 품질 기준 (quality bar) 버전을 저장하십시오. 인간의 투입 시간은 거칠더라도 일관된 방식으로 캡처하십시오. 거부된 작업은 보고서에서 누락시키는 대신 가시적으로 유지하십시오.

시작 단계에서는 최소한의 이벤트 형태 (event shape)만으로도 충분할 수 있습니다:

{
  "task_id": "uuid",
  "task_type": "agent_task_name",
...

Vanaxity와 같은 검토 게이트형 (review-gated) 콘텐츠 시스템의 경우, 동일한 모델이 연구, 집필, 삽화, 출판 및 신디케이션 (syndication) 전반에 걸쳐 적용됩니다. 승인된 블로그 게시물은 단순히 최종 초안만을 의미하지 않습니다. 그것은 품질 승인을 받은 작업물을 파이프라인을 통해 통과시키기 위해 필요한 모든 단계의 비용을 의미합니다.

수용할 가치가 있는 트레이드오프 (Tradeoffs)

이 지표는 토큰 대시보드를 모니터링하는 것보다 느립니다. 또한 불편한 가시성을 만들어냅니다. 팀은 가장 저렴한 모델이 더 많은 거절된 작업을 생성한다는 사실을 발견하거나, 고품질 에이전트가 생성 (generation) 단계가 아닌 검토 정책에 의해 병목 현상 (bottleneck)을 겪고 있다는 사실을 알게 될 수도 있습니다.

품질 게이트 (quality gate)에 과적합 (overfitting)될 위험도 있습니다. 만약 승인 규칙이 너무 좁아지면, 에이전트는 비즈니스 요구 사항 대신 체크리스트를 만족시키는 법을 배우게 됩니다. 반대로 규칙이 너무 느슨하면, 성공적인 태스크당 비용은 허영 지표 (vanity math)가 되어 버립니다.

해답은 두 가지 계층을 정직하게 보고하는 것입니다. 승인된 출력물은 확인할 수 있지만 아직 다운스트림 가치 (downstream value)를 확인할 수 없는 경우에는 생산 효율성 (production efficiency)을 사용하세요. 작업에 검증된 가치가 결합되었을 때만 비즈니스 ROI (Return on Investment)를 사용하십시오.

개발자를 위한 시사점

에이전트를 배포하고 있다면, "실행 성공" 단계에서 멈추지 마세요. 로그 옆에 회계 체인 (accounting chain)을 추가하십시오.

실용적인 첫 번째 버전은 작게 시작할 수 있습니다. 하나의 태스크 유형, 하나의 승인 규칙, 하나의 검토자 결과, 그리고 하나의 전체 비용 계산을 정의하십시오. 그런 다음 달러당 사용량 (usage per dollar) 대신 달러당 승인된 작업량 (accepted work per dollar)을 기준으로 모델, 프롬프트, 도구 및 에이전트 설계를 비교하십시오.

오늘날 귀하의 에이전트 스택에서 계측 (instrument)하기 가장 어려운 부분은 무엇입니까: 인간의 검토 시간, 재시도 원인, 아니면 승인된 태스크의 품질 게이트입니까?

📖 가이드 전문 읽기 → AI Agent ROI: How to Measure Cost per Successful Task