로컬에서 작동하는 오픈소스 LLM 비용 분석기
요약
이 도구는 사용자의 LLM 호출 로그를 로컬에서 분석하여, 모델 변경이나 라우팅 조정만으로 절약할 수 있는 비용을 계산해 줍니다. OpenAI 형식의 JSONL 로그를 입력하면 토크나이저와 가격표를 이용해 비용을 분석하고 최적의 라우팅 제안까지 제공하는 오픈소스 도구입니다.
핵심 포인트
- LLM 지출을 로컬에서 계산하는 무료 오픈소스 도구
- OpenAI 형식의 JSONL 로그 입력을 지원합니다.
- 모델 변경 및 라우팅 조정으로 절약 가능한 비용 분석
- 인터넷 연결 없이 기기 내에서 모든 처리가 이루어집니다.
사용자의 호출 로그를 읽어 모델을 변경하거나 라우팅(routing)을 조정함으로써 절약할 수 있는 금액을 로컬에서 계산해 주는 도구입니다.
이것은 대규모 언어 모델(LLM) 지출을 계산하기 위해 특별히 설계된, 무료이며 로컬에서 작동하고 MIT 라이선스가 적용된 오픈소스 간편 도구입니다. OpenAI 형식의 JSONL 호출 로그를 입력하면, 사용자의 기기 내에서 토크나이저(tokenizer)와 가격표를 사용하여 비용을 분석하고, 편리하게 라우팅 제안까지 제공합니다. 이 모든 과정은 인터넷에 연결하거나 사용자 대신 모델 요청을 보내지 않습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0