The Leverage Shift: Why Infrastructure Cost Doesn't Matter Anymore

지난 달에 저는 3 년 전에는 월별 API 예산을 모두 소모했을 법한 기능을 만들었습니다. 이는 50,000 토큰의 컨텍스트를 처리하고 프롬프트 체인을 실행하며 오류 복구와 재시도를 포함했습니다. 저는 아마도 4 달러만 썼습니다. 400 달러가 아닙니다. '중요한' 금액이 아닙니다. 4 달러입니다. 이는 평범한 화요일에 자연스럽게 발생했습니다. 저는 비용을 최적화하지 않았습니다. 저는 계량을 관찰하지 않았습니다. 저는 명확성을 배송했습니다. 복잡한 결정을 더 작은, 덜 지적인 단계로 분해했습니다. 그리고 그 경제학은 저의 레이더에 나타나지 않을 만큼 저렴했습니다. 이것이 AI 를 논할 때 아무도 언급하지 않는 조용한 변화입니다. 그것은 'AI 는 이제 스타트업을 위한 실행 가능'이 아닙니다. 모든 사람이 그렇게 말하고 있으며, 그들은 맞습니다. 그러나 더 깊게는: 소프트웨어를 구축하고 배송하는 경제 게임은 근본적으로 형태가 변했고, 대부분의 사람들은 여전히 오래된 보드와 체스 게임을 하고 있습니다. Claude 3.5 Sonnet 의 비용은 100 만 토큰당 입력 $3, 출력 $15 입니다. GPT-4o 는 $5/$15 입니다. 작은 소설을 포함할 수 있는 컨텍스트 윈도우는 추론 실행을 위해 페니 단위로 실행됩니다. 일인 개발자가 하루에 10,000 번의 API 호출을 수행하는 기능을 구축하는 것은 아마도 월 $150 입니다. 이는 커피 구독 비용입니다. 이를 2015 년에 동일한 워크로드를 자체로 실행하기 위해 필요했던 인프라 자본과 비교해 보십시오. 수만 달러의 하드웨어, 그리고 이를 유지 관리하기 위한 엔지니어링 시간. 그러나 실제 변화는 절대적 비용이 아닙니다. 그것은 누가 배송할 수 있는지에 관한 것입니다. Every

쉬운 부분입니다. 이 인프라는 매 달 4 달러로 구축할 수 있습니다. 다른 레이어는 구매할 수 없습니다. 오픈소스 vs API 이것이 계산이 흥미로운 지점입니다. p3.8xlarge 에서 Llama 2 를 자체 호스팅하는 비용은 약 시간당 $12 입니다. 저용량 기능 (일일 토큰 1,000 개 정도) 의 경우 이는 경제적으로 방어 불가능합니다. 당신은 비활성 컴퓨팅을 지불하고 있습니다. 고용량 (월간 토큰 수백만 개) 의 경우 계산이 나옵니다. 그러나 "계산이 나옴" 은 숨겨진 비용을 무시합니다: 유지보수, 추론 최적화, VRAM 관리, 실패 처리, 모델 업데이트. 그리고 기회비용을 무시합니다: 그것은 당신의 엔지니어링 시간이지 실제 기능을 출시하는 것이 아닙니다. 전환점은 이동했습니다. 5 년 전, 프로덕션에서 비상관적인 것을 구축한다는 것은: 오픈소스 모델을 평가하고, 작동하는 것을 찾은 후 자체 호스팅하고, 유지보수를 위해 사람을 고용했다는 의미입니다. API 는 비쌌지만 인프라는 저렴했습니다 (비활성 시간을 지불하지 않기 때문). 이제 API 는 대부분의 솔로 프로젝트가 자체 호스팅을 하지 않아야 할 정도로 저렴해졌습니다. 당신은 "API 벤더를 지불하는 것" 과 "우리의 인프라를 소유하는 것" 사이에서 선택해야 합니다. 당신은 "$200/월을 지불하는 것" 과 "프로덕션에서 깨지고 월 $3,000 을 실행하는 것을 위해 엔지니어링 $50,000 을 지불하는 것" 사이에서 선택합니다. 예외는 있습니다. 만약 당신이 초규모 (월간 토큰 수십억 개) 에서 언어 모델을 실행한다면, 더 저렴한 오픈 모델로 자체 호스팅은 불가피해집니다. 그러나 그것은 대부분의 프로젝트의 제약이 아닙니다. 그리고 또한 당신은 여전히 컴퓨팅을 지불하고 있습니다. 당신은 단지 인프라를 소유하는 대신 청구서를 아웃소싱할지 결정합니다. 실제 비용: 명확성 여기에서 예상하지 못했던 것이 있습니다: 더 저렴한 인프라는 문제를 단순하게 만들지 않습니다. 그것을 이동시킵니다. AI 로 구축하는 비용은 과거에 경제적이었습니다: 이 호출을 할 수 있나요? 이제 그것은 인지적입니다. 모델을 실제로 필요로 하는 대로 명확하게 논리를 작성할 수 있나요? 어제 작동하고 오늘 작동하지 않는 이유를 디버깅할 수 있나요? 모델이 환각할 때 실패 사례를 처리할 수 있나요? 최근 한 주간 단일 의사결정 루틴에 시간을 보냈습니다. 모델은 훌륭한 출력을 생성했지만 분석에 숨겨진 신호를 놓쳤습니다. 저는 계속 컨텍스트를 추가하고, 더 많은 예제를 추가하고, 더 긴 설명을 작성했습니다. 마침내 토큰 예산에 도달했고 70% 를 잘라야 했습니다. 작동한 버전. 명확했던 것이 아니라 철저했던 것이 아닙니다. 거의 삭제했을 버전입니다. 사용은 "컴퓨팅을 할 수 있나요?" 에서 "명확하게 생각할 수 있나요?" 로 이동했습니다. 그리고 그것은 실제로 더 중요한 것입니다.

resting gate. Solo 빌더에게 이것이 무엇을 의미하는가 이제 스포티파이 구독 비용으로 시리즈 A 회사의 인프라를 혼자서 구축할 수 있습니다. 그것은 사실입니다. 은유적으로도, 문자 그대로적으로도. 클라우드 청구서는 무시할 수준입니다. 엔지니어링은 유한합니다. 하지만 스스로 만든護城河 (moat) 를 소유할 수는 없습니다. 래퍼를 출시하고 시장 중력이 나머지를 해결해 줄 것을 기대할 수는 없습니다. 현재 AI 로 승승장구하는 사람들은 좋은 모델을 찾았기 때문에 승리한 것이 아닙니다. 그들은 실제 문제를 찾았고 그것을 해결하기 위해 잔혹하게 구체적 (ruthlessly specific) 인 접근을 취했기 때문입니다. 이제 문은 자본이 아닙니다. 문은 명확성입니다. 무엇을 구축하고 있는지 알 수 있나요? 다른 누구보다 더 잘 알고 있나요? 그것이 작동하는지 측정할 수 있나요? 신호에 기반하여 개선할 수 있나요? 이것이 사용처입니다. 인프라 비용의 붕괴는 혼자서 할 수 있게 만들었습니다.