Y Combinator의 Paul Graham: AI 기업들이 추론(Inference)을 잘못 측정하고 있다 — '모델이 개선됨에 따라 토큰당 문제 해결 능력이 높아진다'

Benzinga와 Yahoo Finance LLC는 아래 링크를 통해 일부 항목에서 수수료 또는 수익을 얻을 수 있습니다.

Y Combinator 공동 창업자인 Paul Graham은 점점 더 강력해지는 모델들이 적은 토큰으로 더 복잡한 문제를 해결할 수 있기 때문에, 토큰 개수가 AI 추론(inference)을 측정하는 부적절한 방법이 되고 있다고 주장했습니다.

Graham, 새로운 AI 추론 지표 요구

화요일에 X에 올린 글에서 Graham은 현재 AI 추론이 어떻게 측정되고 가격 책정되는지에 대해 의문을 제기했습니다.

그는

246개 작업에 대한 연구는 기업들이 토큰 가격만 보기보다는 총 작업 비용과 출력 품질을 고려해야 한다고 시사했습니다.

지난 6월에는 Anthropic이 Claude Opus 4.8의 두 배 가격으로 Claude Fable 5를 출시하며, 입력 토큰당 백만 개에 $10, 출력 토큰당 백만 개에 $50를 청구했습니다.

이번 출시는 Wells Fargo & Co. 전략가 권오성이 AI 추론 비용 상승이 AI 투자 트레이드에 압력을 가할 수 있다고 경고한 시점과 맞물렸는데, 그는 몇 달 만에 AI 예산을 소진한 기업들을 언급했습니다.

*참고: *후회는 건너뛰기: 전문가들이 모두가 더 일찍 알았으면 좋겠다고 생각하는 필수 은퇴 팁.

그는 또한 인프라 비용 상승과 잠재적인 금리 인상도 위험 요소로 지적했으며, Nvidia Corp.는 특히 인프라 지출 감소에 취약하다고 언급했습니다.