이 문제들에 대해 몇 가지 의문점이 있습니다.
연간 $1억 3,200만은 전혀 사실이 아닙니다. 오늘날 가격으로 따지면 $300만 수준에 가깝고, 심지어는 1년 안에 $1,200 수준까지 떨어질 것입니다.
네, $1억 3,200만 -> $1,200. 제 말을 들어보세요.
- 제시된 가격은 전혀 정확하지 않습니다.
월 $1,100만은 완전히 틀렸습니다. 실제 'API 비용'은 아마 월 $10만~$50만 범위일 것입니다.
1.5조 토큰이라는 수치에는 캐시된(cache'd) 토큰이 포함되어 있습니다. 제가 직접 사용량을 확인해 보니, 335억 토큰이 나온 비용은 월 $0.56에 불과합니다 (Peter가 추정한 월 $8보다 1/10 이하).
저는 주로 Opus나 Astra 같은 비싼 모델을 사용하고 있으며, '1.5조 토큰'을 사용하더라도 저에게는 약 $80만 정도의 비용이 들었을 것입니다. 만약 제가 더 저렴한 모델을 사용하고 캐시를 더 많이 활용했다면, 쉽게 월 $10만 수준까지 낮출 수 있었을 것입니다.
- 지능은 믿을 수 없을 만큼 빠르게 저렴해지고 있습니다.
우리 LLM(대규모 언어 모델) 비용이 오르고 있어서 모두가 스트레스를 받고 있다는 것을 알고 있습니다. 완전히 당연합니다! 이것은 지능이 더 비싸져서가 아닙니다.
Artificial Analysis는 '주어진 지능 수준에서의 비용'이 시간이 지남에 따라 어떻게 떨어지는지를 추적합니다. 예전에는 연간 약 10배씩 하락했지만, 지금은 5개월 만에 30배나 낮아졌습니다 (이미지 참조).
이전에 언급된 $10만에서 시작하여, 비용은 몇 달 안에 월 $3,000 수준까지 떨어질 수 있으며, 추세가 계속된다면 내년 이맘때쯤에는 월 $100 수준에 이를 것입니다.
물론 더 스마트한 모델들이 나올 것이고 우리는 그쪽으로 이동할 것이지만, 오늘날 동등한 모델로 그녀의 경험을 재현한다면 내년까지 연간 $1,200이 될 것입니다.
- 아무도 이것이 정상이라고 말하지 않았습니다.
Lauren은 '에이전트 엔지니어(agentic engineer)' 분야의 0.0001%입니다. 그녀의 작업을 '$를 투입하여 -> 소프트웨어를 산출'로 측정하는 것은 지나치게 단순화하고 잘못된 것입니다.
그녀의 지출은 제품/엔지니어링, 연구, FDE 작업(pstack), 마케팅의 조합으로 봐야 합니다. 하루 $35만어치 가치가 있나요? 아닙니다. 한두 달에 백만 단위가 아닐까요? 확실합니다.
그녀는 지능 비용을 무시했을 때 어떤 일이 발생하는지 탐구하고 있습니다. 그녀가 Cursor가 모든 회사에게 토큰으로 연간 $1,000만 지출할 것이라고 기대하기 때문에 이것을 하는 것이 아닙니다.
그녀가 이렇게 하는 이유는 그 $1,000만 상당의 토큰이 1~2년 안에 $10,000에 불과하게 될 것이기 때문입니다.
