나는 매일 나의 AI 비용을 추적한다 - 대부분의 팀이 놓치고 있는 스코어보드

지난주 한 헤드라인이 화제가 되었습니다: 2026년에는 하루에 천 건 이상의 기술직 해고가 발생하고 있으며, 그중 약 55%가 AI를 그 원인으로 지목하고 있다는 내용입니다.

그 후 저는 그 아래에 숨겨진 문장을 발견했습니다. 전문가들은 그러한 감축의 근거가 되는 생산성 향상이 아직 대규모(scale)로 나타나지 않았다고 지적했습니다.

즉, 기업들은 아직 도래하지 않은 AI 산출물에 대한 예측을 바탕으로 인력을 감축하고 있는 것입니다. 이것은 엔지니어링 문제나 PM (Product Manager)의 문제가 아닙니다. 이것은 측정 (measurement)의 문제입니다. 그리고 이것은 제가 매일 다루는 바로 그 문제이기에, 이를 해결하는 지루한 도구를 보여드리겠습니다.

배포(Deploying)는 전달(Delivering)이 아니며, 그 격차가 커리어를 결정한다

저는 AI를 실제 전달 작업(delivery work)에 투입합니다. 데모가 아닙니다. 마감 기한이 정해진 실제 출시된 결과물(shipped output)입니다.

제가 배운 가장 값비싼 교훈은 이것입니다: 도구를 배포(deploying)하는 것과 그것으로 가치를 전달(delivering)하는 것은 서로 다른 사건이며, 그 사이에는 매력적이지 않은 수많은 작업이 존재한다는 것입니다.

배포는 쉽습니다. 연결하면 무언가를 생성하고, 데모는 멋져 보이며, 슬라이드에는 "40% 더 빠름"이라고 적힙니다.

전달(Delivering)은 2주 후에 돌아와 아무도 즐기지 않는 질문을 던질 때 일어납니다: "이것을 실행하고 관리(babysit)하는 데 든 비용을 제외하고, 실제로 무엇을 돌려주었는가?"

대부분의 팀은 결코 묻지 않습니다. 그들은 배포했으니 전달했다고 가정합니다. 그 가정이 현재 해고를 정당화하는 데 사용되고 있습니다. 숫자로 그 차이를 구분할 수 없다면, 당신은 더 큰 예산을 가지고 추측을 하고 있는 것입니다.

책임 계층(Accountability layer)은 곧 측정 계층(Measurement layer)이었다

Gergely Orosz는 이번 주 Meta가 속도를 위해 AI 포드(pods)로 재편성하고 프로그램 관리(program-management) 책임 계층의 상당 부분을 제거했다는 글을 썼습니다.

여기에 함정이 있습니다. 그 책임 계층이 바로 측정 계층이었습니다. "이것이 작동했는가, 비용이 얼마나 들었는가, 계속 유지할 것인가"를 판단하는 것이 업무였던 사람들은 오버헤드(overhead)가 아니었습니다. 그들은 빠르게 움직이는 베팅이 잘못된 방향으로 빠르게 가고 있을 때 이를 알아차리는 시스템의 일부였습니다.

회사가 AI에 모든 것을 걸고 있는 상황에서 이를 제거한다면, 더 효율적인 조직(leaner org)을 얻는 것이 아닙니다. 오히려 가장 큰 베팅이 결실을 맺고 있는지조차 알 수 없는 조직이 될 뿐입니다.

실제 데이터로서의 스코어보드 (The scoreboard, as actual data)

원칙은 이 정도로 충분합니다. 제가 의존하는 모든 AI 워크플로(workflow)에 대해 유지하는 형태는 다음과 같습니다. 이는 특정 벤더의 로고가 박힌 대시보드가 아니라, 추적 가능한 하나의 파일에 담겨 있습니다.

# ai-scoreboard.yml - 의존하는 각 워크플로당 하나의 항목
workflow: pr-triage-agent
baseline_minutes: 45        # 에이전트 도입 전 소요된 시간
...

특별할 것은 없습니다. 가치는 사람들이 건너뛰는 세 가지 필드에 있습니다:

• steering_minutes_per_run (실행당 조종 시간): 프롬프팅(prompting), 수정, 정리에 소비하는 시간입니다. 이것이 보통 가장 큰 숨겨진 비용이며, 데모에서는 절대 보여주지 않는 부분입니다.
• rework_tax_pct (재작업 세율): 결과물 중 다시 작업해야 했던 비율입니다. 이 수치가 서서히 올라간다면, 해당 도구는 여전히 "작동"하고 있음에도 불구하고 겉보기보다 더 많은 비용을 은밀히 발생시키고 있는 것입니다.
• kill_if (중단 조건): 사전에 결정된 임계값(thresholds)입니다. 워크플로가 이 임계값을 넘어서면, 이미 얼마나 많은 투자를 했는지에 대한 회의를 거치지 않고 즉시 중단됩니다.

어떤 AI 워크플로에 대해서도 머릿속으로 빠르게 수행할 수 있는 직관적인 점검 방법은 다음과 같습니다:

net_value = minutes_saved - steering_minutes - (rework_tax * output_volume)

만약 이 값이 0에 가깝거나 음수가 나온다면, 당신은 생산적으로 보이지만 아무런 가치도 창출하지 못하는 무언가를 배포한 것입니다. 숫자를 직접 적어보지 않는다면 이를 결코 알 수 없습니다.

이것이 번거로운 일이 아닌 해자(moat)인 이유

파멸적인 프레임은 AI가 당신의 일자리를 뺏으러 올 것이라고 말합니다. 하지만 측정하는 사람들에게 그것은 거꾸로 된 생각이라고 저는 믿습니다.

이 시대를 살아남는 사람들은 AI를 가장 많이 배포한 사람들이 아닙니다. 이제 배포는 기본 조건(table stakes)일 뿐입니다. 이 시대를 주도하는 사람들은 예산이 긴박할 때 회의실에 앉아 진짜 스코어보드를 테이블 위에 올려놓을 수 있는 사람들입니다: "우리가 무엇을 실행했고, 비용이 얼마 들었으며, 무엇을 돌려받았고, 무엇을 왜 중단했는지"를 말입니다.

그것은 AI 결과물에 대한 극단적인 책임감 (extreme ownership)입니다. 측정하지 않은 ROI (투자 대비 수익)를 주장할 수는 없습니다. 하지만 만약 당신이 그것을 증명할 수 있다면, 당신은 해고하기 매우 어려운 사람이 될 것입니다. 왜냐하면 당신은 '실제로 작동하는 AI'와 '그저 바빠 보이기만 하는 AI'를 구분하여 말할 수 있는 유일한 사람이기 때문입니다. 바로 그러한 혼란이 지배하는 한 해에, 그 기술이야말로 진정한 해자 (moat)가 됩니다.

매일 수천 번의 작은 손실들이, 아무도 영수증을 챙기지 않는 수익을 근거로 정당화되고 있습니다. 그래서 저는 매주 금요일마다 스스로에게 묻는 방식으로 당신에게 묻겠습니다. 당신이 지금 실행하고 있는 AI에 대해, 당신은 그것이 전달하는 성과를 측정하고 있습니까, 아니면 슬라이드 (slide)를 믿고 있습니까? 그리고 만약 누군가 월요일에 그 지출을 방어하라고 요구한다면, 당신은 실제로 무엇을 내놓을 수 있겠습니까?