로컬 LLM 서버의 실제 비용은 얼마일까요? (전력 소모량 + tok/s, 자체 호스팅 vs 클라우드 API, 브라우저 내 무료)

저는 몇 달 동안 로컬 LLM 설정을 조정해 왔는데, 사람들이 실제로 원하는 숫자는 전기 요금 고지서입니다. 이 계산기는 GPU의 전력 소모량(W)과 토큰 속도(tok/s, 프롬프트 및 디코드용)를 입력받아 kWh당 에너지 가격을 적용하고, 시간당 비용, 요청당 비용, 월별 비용, 그리고 100만 개 입력 토큰당 비용(KV 캐시 유무 포함)을 보여줍니다. 현실적인 수치에서 시작하여 조정할 수 있도록 3가지 GPU 프리셋(RTX 4070 Ti Super, RTX 5090, RTX 5090 eco)이 있습니다. 이 계산은 캐시된 토큰의 시간을 비캐시된 토큰의 1/100로 간주하므로, 현실적인 시나리오는 6만 개 입력 / 5만 개 캐시 / 2천 개 출력 / 90% 가동 시간으로 고정됩니다. 클라우드 API 비교는 동일한 시나리오에서 각 자체 호스팅 프로필을 참조 API($0.25/1M 입력, $1.20/1M 출력)와 비교하여, 실제로 자체 호스팅이 돈을 절약하는지 아니면 더 많은 비용이 드는지 확인할 수 있게 해줍니다. 모든 것이 브라우저에서 실행되며, 업로드되는 것은 없고 가입할 필요도 없습니다. 제 경험상 요청당 숫자가 클라우드와 비교할 가치가 가장 높습니다. 월별 요금은 단지 요청당 비용에 실제 요청률을 곱한 것일 뿐입니다. https://appdoesit.com/apps/llm-cost-calculator — 이는 카탈로그의 139개 무료 도구 중 하나입니다. 직접 사용해 보세요 :) — 여러분의 서버는 어떻게 비교되나요? /u/paq85 제출 [링크] [댓글]