1,000명의 글로벌 기술 리더를 대상으로 한 Teradata의 조사에 따르면, AI 운영 성숙도에 도달한 기업은 7%에 불과했으며 에이전트 파일럿(Agent pilots)의 88%는 프로덕션(Production) 단계에 진입하지 못했습니다. 주요 3대 장벽은 평가 역량 (Evaluation capability, 64%), 거버넌스 마찰 (Governance friction, 57%), 그리고 모델 신뢰성 (Model reliability, 51%)이었습니다. 이 기사는 이러한 조사 결과를 바탕으로 여러분의 에이전트 파일럿에 적용할 수 있는 프로덕션 진입 전 체크리스트(Pre-production exit checklist)를 제공합니다.

데이터가 말해주는 것

출시 체크리스트 (The exit checklist)

각 항목을 점검하고 증거를 기록하세요. 모든 게이트(Gate)에 대해 구체적인 답변이 있을 때만 파일럿은 통과할 수 있습니다.

게이트 1: 평가 역량 (Evaluation capability)

[ ] 파일럿 시작 전 기준 지표(Baseline metric)를 정의했는가
[ ] 동일한 작업에 대해 매칭된 쌍(에이전트 사용 vs 에이전트 미사용)을 수집했는가
[ ] 단순히 성공률뿐만 아니라 허위 양성(False-positive) 및 허위 음성(False-negative) 비율을 측정했는가
...

체크되지 않은 항목이 하나라도 있다면, 해당 파일럿은 가치를 증명할 수 없습니다. "더 빨라진 것 같다"는 식의 느낌은 증거가 될 수 없습니다.

게이트 2: 거버넌스 (Governance)

[ ] 에이전트가 읽는 모든 입력값의 데이터 분류(Data classification)를 식별했는가
[ ] 에이전트의 실행 역할(Execution role)이 프로덕션 비밀 정보(Production secrets)에 접근할 수 없음을 확인했는가
[ ] 에이전트가 시작한 변경 사항에 대한 롤백 절차(Rollback procedure)를 문서화했는가
...

게이트 3: 모델 신뢰성 (Model reliability)

[ ] 100개 이상의 실제 작업에서 에이전트를 실행하고 실패율을 기록했는가
[ ] 상위 3가지 실패 모드(Failure modes)와 그 근본 원인을 식별했는가
[ ] 프로덕션을 위한 최대 허용 실패율을 정의했는가
...

증거 기록 템플릿 (Evidence record template)

{
  "pilot_name": "code-review-agent-pilot",
  "evaluated_at": "2026-07-20T10:00:00Z",
...

일반적인 파일럿 종료 오류

• 생존 편향 (Survivorship bias): 에이전트가 성공한 작업만 측정하고 실패 사례는 버리는 것
• 이동하는 기준선 (Moving baseline): 에이전트의 결과를 확인한 후 비교 지표를 변경하는 것
• 대체 수단 부재 (No fallback): 파일럿 단계에서 에이전트가 항상 작동한다고 가정하여, 성능 저하 시의 대응 경로가 없는 것
• 개발자에 의한 평가 (Evaluation by the builder): 에이전트를 만든 동일한 사람이 점수도 매기는 것

확인해야 할 사항

현재 진행 중인 파일럿의 실제 수치를 사용하여 위의 증거 기록을 채울 수 있습니까? 만약 observed_failure_rate (관찰된 실패율)를 채울 수 없다면, 당신은 평가를 수행하지 못하는 64%에 속하며, 프로덕션에 도달하지 못하는 88%에 속할 가능성이 높습니다.