원문은 Wisflux Engineering 블로그에 게시되었습니다.

데모는 언제나 눈부십니다. 하지만 프로덕션(Production) 환경은 에이전틱 AI(Agentic AI)가 조용히 무너지는 곳이며, 이는 대개 모델의 잘못이 아닙니다. 리더십이 잘못된 수치를 추적하고 그 아래에 있는 인프라(Infrastructure)를 건너뛰고 있기 때문입니다. 여기 CXO에게 실제로 필요한 스코어카드가 있습니다.

아무도 준비하지 못하고 있는 변화는 다음과 같습니다:

챗봇은 질문에 답합니다. 에이전트(Agent)는 프로세스를 실행합니다.

이는 다음을 의미합니다:

• 문맥(Context) 이해.
• 메모리(Memory) 유지.
• 도구(Tools) 사용.
• 의사결정(Decisions) 수행.
• 현명한 에스컬레이션(Escalating).
• 결과(Outcomes) 도출.

리더십의 질문이 다음과 같이 변하고 있습니다:

"이 워크플로우(Workflow)에 AI를 사용할 수 있는가?"

에서:

"이 AI가 현재 우리가 하는 것보다 이 워크플로우를 더 잘 실행할 수 있는가?"

로 말입니다.

이는 완전히 다른 기준입니다.

그리고 당신이 CXO라면, 당신의 스코어카드도 그에 맞춰 변해야 합니다.

네 가지 지표가 당신의 에이전틱 AI가 진정한 자산이 될지, 아니면 값비싼 실험에 그칠지를 결정할 것입니다.

세 가지 인프라 요소가 당신이 그 지표들을 달성할 수 있을지 없을지를 결정할 것입니다.

4가지 지표

Agentic AI performance metrics overview: accuracy, cost, human dependence, and time.

에이전틱 AI 성능 지표 개요: 정확도(Accuracy), 비용(Cost), 인간 의존도(Human dependence), 시간(Time).

1. 솔루션 정확도 (SOLUTION ACCURACY)

일반적인 정확도가 아닙니다. 조직적 정확도(Organizational accuracy)입니다.

당신의 환불 정책을 무시하는 문법적으로 완벽한 답변은 틀린 것입니다. 승인 계층 구조를 놓치는 송장 추출(Invoice extraction)은 틀린 것입니다. 고객의 이력을 잊어버리는 고객 응답은 틀린 것입니다.

진짜 질문은 "에이전트가 답변했는가?"가 아닙니다.

그것은 바로: "에이전트가 '우리'의 비즈니스, '우리'의 데이터, '우리'의 예외 사항, '우리'의 규칙에 맞게 올바르게 답변했는가?"입니다.

정확도 없는 속도는 단지 실수를 더 빠르게 만들 뿐입니다.

2. 토큰 효율성 (TOKEN EFFICIENCY) (결과당 비용)

오늘: "와, 에이전트가 해결했네." 내일: "그 해결책에 비용이 얼마나 들었지?"

에이전트는 모델을 호출합니다. 컨텍스트 (Context)를 검색합니다. 추론 (Reasoning) 루프를 돌립니다. 도구 (Tools)를 실행합니다. 긴 출력을 생성합니다.

단일 작업에서는 괜찮습니다. 하지만 엔터프라이즈 규모 (Enterprise scale)에서는 유닛 이코노믹스 (Unit economics, 단위 경제성)의 문제입니다.

승자는 가장 똑똑한 모델을 사용하는 사람이 아닐 것입니다. 가장 똑똑한 AI 경제 구조를 설계하는 사람이 승자가 될 것입니다.

언제 큰 모델을 사용할 것인가. 언제 작은 모델을 사용할 것인가. 언제 검색할 것인가. 언제 요약할 것인가. 언제 멈출 것인가.

이것이 바로 아직 아무도 이야기하지 않고 있는 진짜 엔지니어링 작업입니다.

3. 인간 의존도 (HUMAN DEPENDENCE)

오늘날 대부분의 "AI 생산성"은 조용한 환상입니다.

인간이 컨텍스트 (Context)를 준비합니다. 인간이 출력을 수정합니다. 인간이 데이터를 다시 입력합니다. 인간이 당연한 것을 승인합니다. 인간이 모든 예외 상황을 처리합니다.

그것은 자동화가 아닙니다. 그것은 AI 보조 수동 작업입니다.

진정한 에이전틱 AI (Agentic AI)는 다음을 알고 있습니다:

• 자신이 이미 알고 있는 것
• 무엇을 검색해야 하는지
• 이전에 무엇을 학습했는지
• 언제 인간의 판단이 진정으로 필요한지

만약 당신의 에이전트가 이미 CRM, 티켓, 문서 또는 과거의 결정 사항에 존재하는 정보를 계속해서 요구한다면, 그 시스템은 지능적인 것이 아니라 불완전한 것입니다.

인간은 판단을 위해 사용되어야 합니다. 누락된 인프라로서 사용되어서는 안 됩니다.

4. 시간 효율성 (TIME EFFICIENCY)

비즈니스는 시계에 맞춰 돌아갑니다.

고객이 기다립니다. 영업이 기다립니다. 재무가 기다립니다. 컴플라이언스 (Compliance)가 기다립니다.

정확하지만 느린 에이전트는 여전히 비즈니스에 실패할 수 있습니다.

하지만 대부분의 리더들이 빠지는 함정이 있습니다:

"초당 토큰 수 (Tokens per second)"는 지표가 아닙니다. "정확하고 사용 가능한 결과에 도달하는 시간 (Time to a correct, usable outcome)"이 지표입니다.

스트리밍은 빠르지만 12번의 도구 호출 (Tool calls)을 유발하는 모델은 느린 것입니다. 응답은 느리지만 단 한 번의 패스 (One pass)로 문제를 해결하는 모델은 빠른 것입니다.

모델이 아니라 워크플로우 (Workflow)를 측정하십시오.

Balancing agentic AI metrics—speed, accuracy, cost, and human involvement.

에이전틱 AI 지표의 균형 맞추기 — 속도, 정확도, 비용, 그리고 인간의 개입.

이 네 가지 지표는 서로 충돌합니다.

정확도(Accuracy)가 높아지면 종종 비용(Cost)이 증가합니다. 인간에 대한 의존도(Human dependence)를 낮추려면 더 깊은 오케스트레이션(Orchestration)이 필요합니다. 속도(Speed)가 빨라지면 품질(Quality)이 저하될 수 있습니다. 비용(Cost)을 낮추면 정확도(Accuracy)가 떨어질 수 있습니다.

그러니 이제 "이 에이전트가 좋은가?"라는 질문은 그만두십시오.

대신 다음과 같이 질문하기 시작해야 합니다:

어떤 워크플로우(Workflow)에 좋은가? 어떤 비용이 드는가? 어떤 리스크(Risk)가 있는가? 인간의 개입(Human involvement)은 얼마나 필요한가?

고객 지원(Customer support)은 속도와 규모(Scale)를 최적화합니다. 재무(Finance)는 정확도와 통제(Control)를 최적화합니다. 컴플라이언스(Compliance)는 신뢰와 감사 가능성(Auditability)을 최적화합니다. 영업 운영(Sales ops)은 개인화(Personalization)와 자율성(Autonomy)을 최적화합니다.

보편적으로 가장 좋은 에이전트란 없습니다. 오직 특정 작업에 가장 잘 설계된 에이전트가 있을 뿐입니다.

그 밑바탕이 되는 인프라

Three foundations for agentic AI: orchestration, guardrails, and continuous evals.

에이전틱 AI를 위한 세 가지 기반: 오케스트레이션(Orchestration), 가드레일(Guardrails), 그리고 지속적인 평가(Continuous evals).

대부분의 기업이 아직 구축하지 못한 세 가지 요소 없이는 이 네 가지 지표를 달성할 수 없습니다.

A. 멀티 에이전트 오케스트레이션 (MULTI-AGENT ORCHESTRATION)

단일 에이전트는 실제 비즈니스 워크플로우를 실행할 수 없습니다.

실제 워크플로우에는 작업을 분해하는 플래너(Planner), 부분적인 작업을 실행하는 전문가(Specialists), 작업을 검토하는 비평가(Critic), 무엇이 어디로 갈지 결정하는 라우터(Router), 그리고 이 모든 것을 연결하는 메모리 레이어(Memory layer)가 필요합니다.

이것이 바로 멀티 에이전트 오케스트레이션(Multi-agent orchestration)입니다.

10개의 도구가 붙어 있는 거대한 단일 프롬프트(Monolithic prompt)는 에이전트가 아닙니다. 그것은 단계만 더 추가된 챗봇(Chatbot)일 뿐입니다.

에이전틱 AI 분야에서 승리하고 있는 기업들은 더 큰 프롬프트를 만드는 것이 아닙니다. 그들은 서로에게 작업을 넘겨주는 전문화된 에이전트들의 시스템을 구축하고 있습니다.

B. 가드레일 (GUARDRAILS)

에이전트가 행동을 취할 수 있다면, 잘못된 행동도 취할 수 있습니다.

잘못된 이메일을 보내거나, 잘못된 송장을 승인하거나, 잘못된 정책을 인용하거나, 잘못된 데이터를 노출하거나, 잘못된 API를 호출할 수 있습니다.

가드레일(Guardrails)은 컴플라이언스(Compliance)를 위해 나중에 덧붙이는 것이 아닙니다. 가드레일은 당신의 에이전트가 사용될 수 있을 만큼 충분히 오랫동안 신뢰를 유지할 수 있게 만드는 핵심 이유입니다.

입력 검증 (Input validation). 출력 검증 (Output validation). 개인정보 (PII) 처리. 도구 사용 경계 (Tool-use boundaries). 프롬프트 인젝션 방어 (Prompt injection defense). 고위험 작업에 대한 승인 임계값 (Approval thresholds). 모든 것에 대한 감사 추적 (Audit trails).

가드레일이 없다면, 프로덕션도 없습니다.

C. 지속적인 평가 (CONTINUOUS EVALS)

대부분의 기업은 에이전트를 한 번 테스트합니다. 작동한다고 선언하고, 출시합니다.

그러면 모델이 업데이트됩니다. 프롬프트가 드리프트(drift)됩니다. 데이터가 변화합니다. 엣지 케이스(edge cases)가 증폭됩니다. 누군가 알아차리기도 전에 고객이 불만을 제기합니다.

지속적인 평가 (Continuous evals) 프레임워크는 에이전틱 AI (Agentic AI)의 회귀 테스트 (regression-testing) 계층입니다.

골든 데이터셋 (Golden datasets). 자동화된 점수 산정 (Automated scoring). 프로덕션 샘플링 (Production sampling). 드리프트 탐지 (Drift detection). 실패 모드 추적 (Failure-mode tracking). 모호한 사례에 대한 인간 참여형 검토 (Human-in-the-loop review).

에이전트를 매일 측정할 수 없다면, 당신은 그것이 오늘 실제로 작동하고 있는지 실제로 아는 것이 아닙니다.

당신은 그저 바라고 있을 뿐입니다.

네 가지 지표는 당신의 스코어카드입니다. 오케스트레이션 (Orchestration), 가드레일 (Guardrails), 그리고 평가 (Evals)는 당신의 운영 체제 (Operating system)입니다.

운영 체제 없이는 스코어카드를 실행할 수 없습니다.

새로운 CXO 스코어카드

향후 12개월 동안, 경영진은 다음과 같이 질문해야 합니다:

우리의 컨텍스트에 맞는 정확한 결과인가? 성공적인 작업 한 건에 드는 비용은 얼마인가? 실제로 얼마나 자주 인간의 개입이 필요한가? 실제 결과에 도달하는 속도는 얼마나 빠른가? 오케스트레이션(orchestrated) 되었는가, 아니면 단순히 프롬프트(prompted)만 입력되었는가? 가드레일(guarded)이 갖춰졌는가, 아니면 그저 희망 사항(hopeful)뿐인가? 지속적으로 평가(evaluated)되고 있는가, 아니면 출시 시점에만 평가되었는가?

AI의 1단계는 생성 (Generation)에 관한 것이었습니다. 2단계는 실행 (Execution)에 관한 것이 될 것입니다.

그리고 실행에 있어서는, 당신의 AI가 말을 할 수 있는지 여부는 중요하지 않습니다.

중요한 것은 그것이 프로세스를 — 안전하게, 반복적으로, 그리고 합리적인 비용으로 — 실행할 수 있는지 여부입니다.

어떤 격차가 기업에 가장 먼저 타격을 줄 것이라고 생각하십니까 — 잘못된 지표, 오케스트레이션의 부재, 가드레일의 결여, 아니면 지속적인 평가의 부재 중 무엇입니까?

_원문 읽기: wisflux.com →