로컬 리소스를 요청하기 위한 LLM API 비용 시각화
요약
로컬 리소스 도입을 위한 예산 확보를 위해 LLM API 비용 변동성을 시각화하여 증명한 사례를 소개합니다. Anthropic 모델들의 가격 변화를 시각화하여 API 비용 제어의 어려움을 보여줍니다.
핵심 포인트
- 데이터 주권 논거보다 API 비용 불확실성 제시가 예산 확보에 효과적임
- Anthropic 모델들의 가격 변동 추이를 시각화하여 비용 제어 불가함을 증명
- LLM API 비용 시각화 도구 및 데이터 제공
데이터 주권(Data sovereignty) 및 관련 아키텍처에 대한 강력한 논거를 제시했음에도 불구하고, 경영진으로부터 로컬 리소스를 위한 예산을 확보하는 데 성공하지 못했습니다. 실제로 예산을 확보하는 데 성공했던 방법은 API 가격을 예측하거나 협상하거나 혹은 다른 방식으로 제어할 수 없다는 점을 보여주는 것이었습니다. 저는 지난 몇 년간 가격이 어떻게 변동했는지를 보여주는 매우 간단한 시각화 자료를 만들어 이를 증명했습니다. 여기 Anthropic의 사례를 담은 정적 Github Pages 페이지가 있습니다: https://rjalexa.github.io/llmprices/?f=anthropic-fable%2Canthropic-haiku%2Canthropic-opus%2Canthropic-sonnet. 직접 설치하고 싶거나 Issue 또는 PR을 생성하고 싶다면 이 저장소(repo)를 확인하세요: https://github.com/rjalexa/llmprices. 다들 건강하세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기