Nvidia 딥러닝 팀이 직원보다 AI에 더 많은 비용을 쓴다고 하지만, 그 팀의 목적은 에이전트식 코딩이 아니라 깊고 무거운 AI 활용이므로 말이 됨
“토큰 기반 과금에서는 더 많이 쓰고 효율이 좋아질수록 더 비싸진다”는 대목도 이상함. 왜 효율이 좋아지면 비용이 증가한다고 하는지 모르겠음

제목이 오해를 부르는 것 같고, 기사를 읽어보면 이유가 더 분명함. 이 회사들에는 가능한 한 많은 토큰을 태우라는 말도 안 되는 OKR과 목표가 있음
토큰 사용량을 지표로 만들면 당연히 엄청 비싸지는 결과가 나옴
추론 비용 자체는 감당 가능한 수준이고, 이 기술을 유용하게 쓰는 데 꼭 최신 독점 모델이 필요한 것도 아님. 인간 엔지니어는 꽤 오래 더 필요하겠지만, “일부 인간 + LLM”이 그냥 인간을 더 고용하는 것보다 비싸질 거라거나 계속 더 비쌀 거라는 데는 동의하지 않음

그냥 이렇게 말했어도 됐을 듯함: 회사가 IT 부서에 개발자 1명당 하루 1000달러 이상을 쓰라는 OKR을 도입함. 회사는 IT 비용이 이전보다 훨씬 커진 데 놀람. 그리고 왜 이런 일이 생겼는지 파악하는 시스템을 만들겠다며 이를 개발자 1명당 하루 1500달러로 올림
지금은 바이브 코딩보다 바이브 리더십이 더 문제 같고, 바이브 리더십은 본질적으로 AI와 관련이 없음. 애매한 직감 하나를 붙잡고 비용이나 결과와 상관없이 비논리적 결론까지 밀어붙이는 사람들임

기사만 보면 “AI”를 포기한 게 아니라 Claude Code에서 GitHub Copilot으로 LLM을 바꾼 것처럼 보임

굿하트의 법칙: 지표가 목표가 되는 순간, 그 지표는 좋은 지표가 아니게 됨

투자자들이 흥분하는 매출 수치는 바로 그 토큰을 지표로 삼는 세계에 기반한 것 아닌가 싶음. 폭발적으로 성장하는 사업이면서 동시에 더 엄격히 지출해야만 투자수익률이 나온다는 식으로 둘 다일 수는 없음

언론이 AI를 불태우기로 작정한 것처럼 보임. 뉴스 피드는 데이터센터의 악, AI의 무용함, 모두가 AI를 싫어한다는 기사뿐임

이 기사의 전제가 틀렸음. Microsoft가 내부 Claude Code 사용을 취소하는 건 AI 비용이 너무 비싸서가 아니라, 경쟁 제품인 GitHub Copilot을 보유하고 있고 직원들이 자사 제품을 쓰게 하려는 것임
락다운 때 Teams가 그렇게 많은 주목을 받은 것도 같은 이유임

맞음. 기사는 Microsoft의 행동을 비용 문제로 섞어버렸는데, 실제로는 비용 때문이 아님. 거기에 “Nvidia 응용 딥러닝 부사장”의 임의 인용을 붙여서, 자기 팀에서는 컴퓨팅 비용이 인건비보다 크다고 말하게 함
하지만 그 팀은 소프트웨어 개발용 LLM을 쓰는 게 아니라 말 그대로 딥러닝 팀이고, 딥러닝 개발 방식으로 컴퓨팅을 태우는 팀임
조금만 계산해봐도 Microsoft가 AI에 개발자보다 더 많은 돈을 낼 수 없다는 걸 알 수 있음. 제품 개발 직군 직원이 약 8만 명이고, 시니어 개발자 전체 비용은 아마 40만 달러쯤일 것임
Microsoft에 320억 달러짜리 Claude 청구서가 있을까? 아닐 것 같음

둘 다 맞을 수 있음. Claude가 너무 비싸고, 동시에 직원들을 Copilot으로 옮기려는 것일 수 있음. 자사 제품이니 비용이 줄고, 그 결과 사용량과 피드백이 늘기를 기대할 수 있음
다만 락다운 때 Teams가 주목받은 사례가 앞의 주장과 어떻게 평행한지는 잘 모르겠음

기사 어디에도 Microsoft가 AI가 인간 직원보다 비싸다고 보고했다는 내용은 없음

와… Fortune에 무슨 일이 있었나? 이런 클릭베이트보다 훨씬 나은 매체라고 생각했는데

게시물 제목에 단어 하나가 빠졌을 수도 있음. “Microsoft reports show AI is more expensive…”가 되어야 할 듯함
Microsoft가 명시적으로 말하진 않았더라도, AI가 더 비싸다는 사실 자체는 드러남

tokenmaxxing 유행은 이번 AI 물결에서 나온 가장 어리석은 발상 중 하나 같음. 효율성과 생산성 극대화와는 정반대로 가는데도 널리 받아들여지고 있음

Microsoft가 Claude를 취소한 건 Copilot이 별로라서 Copilot을 직접 써야 하기 때문임. 내부적으로 인정된 내용이고 비밀도 아님
지금은 Anthropic 토큰이 보조금을 받았기 때문에 Microsoft 입장에서는 오히려 더 비싸졌을 가능성이 있음

AI 사용 비용을 분석하려면 사용 맥락을 봐야 함
많은 사람이 문서, Slack 대화, 이메일을 예쁘게 다듬거나, 짧은 프롬프트로 불필요하게 큰 문서를 만드는 데 AI를 쓰고 있음. 회사 안에서 Slack 메시지나 이메일을 보내는 데 AI가 필요했어야 할 이유는 없음. 의미를 크게 바꾸지도 않으면서 더 그럴듯하게 보이게 하려고 자원과 시간을 낭비하는 일임

그런 용도는 비용이 꽤 낮은 편이긴 함

토큰을 태우는 건 돈을 화로에 던지는 것만큼 쉬움 토큰 사용량은 생산성의 좋은 지표가 아님. 문제는 생산적인 AI 활용을 어떻게 측정할지 아직 제대로 알아낸 사람이 없다는 것임. 개발자들이 생산성을 극대화하는 중인지, 토큰만 태우는 중인지, 변화에 저항하는 중인지 구분하기 어려움

새로운 코드 줄 수 지표임

AI는 인간 직원에게 임금을 주는 것보다 비싸지 않음. 아직 AI는 인간 직원을 대체할 수 없으니 제목의 전제가 틀렸음