AI의 성적표를 AI한테 물었더니 낙제점이 나왔다.

올인 팟캐스트 280회에서 차마스가 공개한 실험 얘기다.

앤스로픽 최신 모델에 S&P500 기업들의 AI발 이익 개선을 물었더니 처음엔 50%라고 답했다. 엔비디아처럼 AI를 파는 쪽을 빼고 다시 묻자 답이 바뀌었다. AI를 쓰는 쪽 493개 기업의 이익 성장은 9%, 그마저 대부분이 인플레이션에 얹은 가격 인상과 자사주 매입이었고, 순수 AI 기여는 0~2%였다.

차마스 회사 CTO의 내부 보고는 더 살벌하다. 토큰 비용은 45일마다 2배가 되는데 생산성 개선은 최대 5%.

그런데 지갑은 반대로 움직인다. 기업 AI 지출에서 오픈소스 비중은 1년 새 19%에서 11%로 오히려 줄었다. 싼 모델로 갈아타고 싶어도 기술력이 안 돼서 못 간다는 게 색스의 진단이고, 거스트너는 아예 "지금은 실험 단계라 아무도 ROI를 안 따진다, 프런티어 랩 매출은 내년 3~5배 더 큰다"고 받았다.

이 논쟁의 승부는 모델 벤치마크가 아니라 고객사 손익계산서에서 난다.