AI 제품을 개발하는 인디 개발자로서 저는 항상 같은 벽에 부딪혔습니다. 바로 벤더 종속성 없이 LLM 비용을 어떻게 통제할 수 있을까?

직접 API 키를 사용하면 프로젝트별 지출 현황을 전혀 파악할 수 없었습니다. 월말에 예상치 못한 청구서가 날아오곤 했죠. 기능별로 비용 상한선을 설정하는 것도 불가능했고, 호출 횟수 제한(Rate limit) 문제도 골치 아팠습니다.

그래서 저는 CostLLM을 만들었습니다. 이는 사용자의 코드와 LLM 제공자 사이에 위치하여 OpenAI와 호환되는 API 게이트웨이입니다.

기능

• 가상 API 키(Virtual API Keys) — 프로젝트, 환경 또는 팀원별로 별도의 키 생성
• 사용량 추적(Usage Tracking) — 실시간 토큰 소비 대시보드 제공
• 예산 통제(Budget Controls) — 과도한 지출을 막는 하드 캡 설정
• 호출 제한(Rate Limiting) — 키별로 구성 가능한 호출 제한 기능
• 쉬운 호환성(Drop-in Compatibility) — 모든 OpenAI SDK와 작동

한 줄 변경만으로

# 이전 코드
client = OpenAI(api_key="sk-proj-...")

...

구축에 사용된 기술

• Python (FastAPI) 게이트웨이 + 백엔드
• Redis를 이용한 호출 제한 기능
• 사용자 및 사용량 데이터를 위한 PostgreSQL
• Nginx 리버스 프록시
• 결제 처리를 위한 Creem

지원 모델

Model	Type
deepseek-v4-flash	Fast chat
...

배운 점

프로덕션 API 게이트웨이를 구축하면서 동시성(concurrency), 스트리밍, 오류 처리, 결제 웹훅에 대해 많은 것을 배웠습니다. 가장 어려웠던 부분은 코드가 아니라, 무료 사용자부터 성장하는 팀까지 모두에게 작동할 수 있는 가격 책정 모델을 설계하는 것이었습니다.

사용해 보세요

• 웹사이트: https://costllm.ai
• API 문서: https://documenter.getpostman.com/view/56610873/2sBY4MtfzU
• 무료 등급: $10 가입 크레딧 제공, 신용카드 불필요

LLM API를 사용하는 다른 개발자분들의 피드백을 받고 싶습니다. 특히 비용 가시성(cost visibility), 키 관리, 그리고 게이트웨이에서 어떤 기능이 필요할지에 대한 의견 부탁드립니다.