로컬에서 작동하는 오픈소스 LLM 비용 분석기

요약

이 도구는 사용자의 LLM 호출 로그를 로컬에서 분석하여, 모델 변경이나 라우팅 조정만으로 절약할 수 있는 비용을 계산해 줍니다. OpenAI 형식의 JSONL 로그를 입력하면 토크나이저와 가격표를 이용해 비용을 분석하고 최적의 라우팅 제안까지 제공하는 오픈소스 도구입니다.

핵심 포인트

• LLM 지출을 로컬에서 계산하는 무료 오픈소스 도구
• OpenAI 형식의 JSONL 로그 입력을 지원합니다.
• 모델 변경 및 라우팅 조정으로 절약 가능한 비용 분석
• 인터넷 연결 없이 기기 내에서 모든 처리가 이루어집니다.