LLM 가격이 몇 달 만에 최대 80% 하락했습니다. 스택에서 변경해야 할 사항은 무엇일까요?

귀하의 LLM 청구서가 아마도 잘못되었을 것입니다. 계산 능력이 부족해서가 아니라, 예산 책정에 사용한 가격 목록 자체가 몇 달 전 정보이기 때문입니다.

지난 6월 말부터 OpenAI와 Anthropic은 일부 모델에 대해 최대 80%까지 API 가격을 반복적으로 인하했습니다. Max Woolf (minimaxir)는 이번 주 HN 프론트 페이지에 게재된 게시물에서 타임라인을 제시했습니다. 제가 수치를 확인해 보았습니다. 아래 가격은 입력(input) / 출력(output) / 캐시 읽기(cache read)당 1백만 토큰($) 기준입니다.

시간 흐름 (The timeline)

이는 할인이 아닙니다. 이것은 시장입니다.

왜 이런 현상이 발생할까요 (Why it's happening)

1. 오픈 웨이트(Open weights)가 기준점입니다. DeepSeek Flash V4.1은 $0.15 / $0.60 / $0.003으로 책정되어 있습니다. 이 모델의 캐시 읽기 비용은 폐쇄형 연구소에서 발생하는 5~10%에 비해 입력 가격 대비 약 2% 수준입니다. 해당 게시물에 따르면, 29개의 제공업체가 OpenRouter를 통해 DeepSeek 모델을 호스팅하고 있습니다. 모델이 29가지 방식으로 호스팅될 때, 아무도 그로 인해 프리미엄을 부과할 수 없습니다.

2. 전환 비용(Switching costs)은 거의 제로에 가깝습니다. 귀하의 통합이 OpenAI와 호환되는 엔드포인트라면, 제공업체를 변경하는 것은 설정 변경만으로 가능합니다. OpenRouter 같은 게이트웨이는 경쟁사와의 A/B 테스트를 사소한 일로 만듭니다. 과거 가격 책정을 정당화했던 해자(moat)가 사라진 것입니다.

3. 서비스 비용이 저렴해졌습니다. Anthropic은 직접 이렇게 말했습니다: Opus 5.5는 “Opus 5보다 적은 컴퓨팅 자원을 필요로 하며, 그 가격에 반영되어 있습니다.”

4. 어쩌면 보조금일 수도 있습니다 (Maybe, subsidy). 두 연구소 모두 IPO 논의를 하고 있으며 수십억 달러의 손실을 보여주는 유출된 재무제표가 있습니다. 작성자는 차량 공유 서비스 비유를 언급합니다: 지금은 저렴하지만 나중에는 비싸질 수 있다는 것입니다. 그는 갑작스러운 급등세는 믿지 않는데, 경쟁 제공업체들이 이 가격대에서 수익을 내기 때문에 누구나 청구할 수 있는 금액에 상한선이 걸리기 때문입니다. 저는 어쨌든 헤징(hedge)하는 것이 좋을 것 같습니다 (아래에서 더 자세히 다루겠습니다).

IBM CEO Arvind Krishna은 The Register에서 오픈 모델(open models)이 이제 프론티어급 모델(frontier ones)의 토큰 비용 대비 "25%에서 10% 사이"이며, 효과는 약 "90% 수준"이라고 말했습니다. 그의 주장은 이렇습니다: "최고 성능의 10분의 1 비용으로, 그 성능이 90%에 달하는 것을 원하십니까?" 그는 대부분의 기업이 두세 개의 랙(racks)만으로 시작할 수 있다고 언급합니다.

이를 판매 상품을 가진 공급업체라고 가정해 봅시다. IBM의 인프라 매출은 전년 대비 5% 증가한 37억 달러를 기록하며, Dell, HPE, Lenovo보다 느린 성장률을 보였습니다. 하지만 그 방향성은 가격표가 보여주는 것과 일치합니다.

청구서 구조 분석

현실적이지만 가상의 워크로드(workload)를 예로 들어보겠습니다: 입력 토큰 1억 개, 출력 토큰 2천만 개, 입력의 60%가 캐시에서 제공됩니다.

# /// script
# requires-python = ">=3.10"
# ///
...

출력:

gpt-6-sol              $  292.00
gpt-6.1-sol            $  286.00
deepseek-flash-v4.1    $   18.18

가장 저렴한 모델과 폐쇄형 플래그십 모델 간의 가격 차이는 리스트 가격 기준으로 약 16배에 달합니다. 하지만 이는 품질에 대해서는 아무것도 말해주지 않습니다. 싸고 틀린 것도 여전히 틀립니다.

제가 실제로 할 일

• 스택 가격을 오늘 재조정하세요. 9월 이전에 예산이 책정된 것은 이미 구식입니다. 캐시 읽기(Cache read) 가격 하락폭이 가장 컸으므로, 프롬프트에 안정적인 접두사(prefix)가 있다면 캐시를 활용하도록 구조를 변경해야 합니다.
• 태스크별 라우팅을 하세요. 추출(Extraction), 분류(Classification), 요약(Summarization) 같은 작업은 플래그십 모델이 필요할 일이 거의 없습니다. 이런 작업들은 저렴하거나 오픈 모델로 처리하고, 비싼 모델은 어려운 호출(hard calls)에만 사용하세요.
• 전환 전에 평가(evals)를 구축하세요. CEO가 주장하는 '90% 성능'이라는 주장은 귀하의 데이터셋에 대한 벤치마크가 아닙니다. 두세 개의 후보군을 대상으로 자체 테스트 세트를 실행해야 합니다.
• 이식성을 유지하세요. IPO 이후 가격이 상승한다면, 공급업체를 오후 만에 교체할 수 있는 사람이 승리합니다. 모델 이름을 코드 곳곳에 분산시키지 말고 설정(config) 파일에 보관하세요.
• 구형 가격으로 장기 계약을 맺지 마세요.

결론

토큰 가격이 더 이상 핵심 이슈가 아닙니다. 1년 전에는 "여기에 LLM을 사용하는 것이 감당할 수 있는 일인가?"라는 질문이었습니다. 이제는 "가격의 일부만으로 수행할 수 있는 작업에 왜 최고급 요금(flagship rates)을 지불하고 있는가?"라는 질문입니다.

내년에 승리하는 팀은 최고의 모델을 갖지 않을 것입니다. 그들은 최고의 라우팅(routing), 캐싱(caching), 평가(evals) 능력을 가질 것이며, 매달 가격표를 재확인하는 규율을 갖출 것입니다.

출처: minimaxir, "OpenAI와 Anthropic이 몇 달 만에 LLM 가격을 최대 80% 인하한 이유는 무엇일까요?" 및 The Register의 IBM 오픈 웨이트(open-weight) 코멘트. 제시된 가격은 해당 기사에 보고된 목록 가격입니다. 예산을 책정하기 전에 현재 요율을 확인하세요.