📊 LLM Latency Tracker
AI API의 지역별 지연 시간과 가동 시간을 측정하고, 그 결과를 오픈 데이터로 공개합니다.
🌐 실시간 순위 · JSON API · MCP 엔드포인트
⚡ 기능 소개 (What it does)
- 🌍 지역별 측정: 분산된 프로브 노드를 통해 제공업체의 응답 시간 및 가용성을 비교합니다.
- ⏱️ 두 가지 프로브 유형: 네트워크의 첫 바이트까지의 시간(TTFB)과 선택적인 추론의 첫 토큰까지의 시간(TTFT)을 측정합니다.
- 📈 오픈 데이터셋: 일일 순위, 과거 스냅샷 및 지역별 p50 / p95 통계를 제공합니다.
- 🤖 에이전트 접근: JSON API, MCP, Markdown 페이지 및
llms.txt 인덱스를 통해 접근할 수 있습니다.
- 🗓️ 모델 생명 주기: 제공업체 발표 링크가 포함된 사용 중단(deprecation) 달력을 제공합니다.
🔧 측정에 최적화됨 (Built for measurement)
- Python 표준 라이브러리 코어: 에지 프로브용이며, 추론 프로브에는 제공업체 키가 필요합니다.
- SQLite 저장소 및 지역별 집계: 원격 노드가 중앙 노드로 측정을 전송합니다.
- 정적 게시(Static publishing): 웹사이트와 JSON 데이터셋을 위해 사용됩니다.
- CI 체크: 테스트 및 린팅을 위한 CI를 수행하며, 게시된 스냅샷에는 측정 날짜가 포함됩니다.
결과 읽기: 에지 TTFB는 모델 생성 속도가 아닌 네트워크/API 응답성을 측정합니다. 추론 TTFT와는 별도로 비교해야 하며, 결과는 지역, 프로브 유형 및 시간 창에 따라 달라집니다.
🚀 빠른 시작 (Quick start)
설치 없이 공개 데이터를 사용해 보세요:
curl https://llmlatency.dev/api/rankings.json
또는 Python 3.12 이상으로 로컬 에지 프로브를 실행하세요:
git clone https://github.com/mazamaka/llm-latency-tracker.git
cd llm-latency-tracker
REGION=local python3 run.py
...
게시된 API를 사용하여 로컬 stdio MCP 서버를 실행하려면 (stdlib 전용, 키 불필요):
도구(Tools): get_ai_api_latency (지역별 제공업체 리더보드), get_provider_latency (지역 전반의 단일 제공업체), get_model_deprecations (모델 종료 일정), get_coding_agent_health (Claude Code / Codex 속도 및 정확도 편차). 모두 읽기 전용입니다.
추론 프로브, API 접근 및 사이트 생성 → · 배포 →
🧪 기여(Contributing)
제공업체를 추가하거나 새로운 프로브 지역을 가져오거나 측정 코드를 개선하세요. 설정 및 검사 사항은 **CONTRIBUTING.md**를 참조하세요.
Python · SQLite · JSON API · MCP · Cloudflare Pages
코드: MIT · 데이터: CC-BY-4.0, llmlatency.dev에 출처를 밝힐 것.
<details>
<summary><b id="latest_daily_snapshot">📈 최신 일일 스냅샷</b></summary>
<!-- DATASET:BEGIN -->
일일 스냅샷 — 2026-10-18
4개 지역에서 46개의 AI 추론 제공업체에 걸쳐 측정된 지연 시간. 방법: 분산 엣지(DNS→TCP→TLS→TTFB) + 추론(TTFT) 프로브, 지난 24시간 기준. 라이선스: CC-BY-4.0.
| 지역 | 가장 빠른 제공업체 (p50) | p50 | p95 | 가동 시간 (Uptime) |
|---|
| 아시아 (도쿄) | fireworks | 20 ms | 67 ms | 100% |
| ... | | | | |
스냅샷 생성일: 2026-10-18T07:23:16Z — 이 표는 매일 재생성됩니다.
<!-- DATASET:END -->