22개의 NVIDIA NIM 모델에 대한 커뮤니티 주도 벤치마킹 — 완전 자동화, 무(無) 인프라 비용, 몇 분 만에 자체 호스팅 가능.

🚀 라이브 대시보드 보기 · 📖 문서 · 🤝 기여하기 · 💬 토론하기

NIMStats는 GitHub Actions를 사용하여 22개의 NVIDIA NIM 모델을 매시간 자동으로 벤치마킹하고, 그 결과를 아름답고 인터랙티브한 대시보드에 게시합니다. 서버나 구독이 필요 없습니다 — 포크(fork)만 하고 API 키를 추가하면 바로 사용 가능합니다.

5분 이내에 자신만의 벤치마킹 대시보드를 실행해 보세요.

git clone https://github.com/MauroDruwel/NIMStats.git
cd NIMStats

build.nvidia.com을 방문 → 무료 계정 생성 → API 키 복사.

포크한 리포지토리에서: Settings → Secrets and variables → Actions → New repository secret

Actions → Benchmark NVIDIA NIM Models → 워크플로우 실행

그게 전부입니다 — 대시보드가 매시간 자동으로 새로 고침됩니다. ✨

NIMStats는 다양한 성능 카테고리에서 최고의 모델을 조회하기 위한 경량의 정적 API 엔드포인트를 제공합니다. 시간별 벤치마크가 완료될 때마다 이 엔드포인트들이 업데이트됩니다.

{
"best_model": "nvidia/nemotron-3-nano-omni-30b-a3b-reasoning",
"provider": "nvidia",
...

11개 제공업체의 22개 모델 — 클릭하여 확장

┌──────────────────── GitHub Actions (every hour) ──────────────────────┐
│ │
┌─────────────────────┐ ┌─────────────────────┐ │
... 

병렬 작업(Parallel jobs) = ~50% 더 빠른 벤치마크 ⚡

벤치마크 프롬프트 변경하기

PROMPT 수정

in scripts/test_models.py

:

`PROMPT =

DB에 모델 목록 나열 vs test_models.py

python scripts/manage_models.py list

ALL_MODELS에 새 모델 추가

...

또는 수동으로 편집합니다.
scripts/test_models.py 내의 ALL_MODELS:

ALL_MODELS = [
"your/custom-model",
# ...
...

스케줄 변경하기
.github/workflows/benchmark.yml을 편집합니다.

:
`- cron: '0 */6 * * *' # 매시간 대신 6시간마다 실행

로컬에서 실행하기

# 대시보드 제공
python3 -m http.server 8000
# http://localhost:8000 열기
...

history.db는 리포지토리에 영구 저장되는 SQLite 데이터베이스이며, 단일 진실 공급원(single source of truth)입니다. 브라우저는 이를 sql.js (WebAssembly)를 통해 로드하고 클라이언트 측에서 전체 쿼리를 수행합니다. scripts/results.json은 커밋되지 않는 임시적인 작업별 아티팩트입니다.

스키마 구조:

CREATE TABLE prompts (
id INTEGER PRIMARY KEY,
text TEXT UNIQUE
...

벤치마크 매개변수 (기본값): temperature: 0.7

· top_p: 0.9

· max_tokens: 500

· OpenAI와 호환되는 API. GLM-5.3 계열은 사고(thinking)가 항상 활성화되어 있기 때문에 reasoning_effort: low 및 max_tokens: 2048을 사용합니다.

기여는 오픈 소스 커뮤니티를 놀랍게 만드는 요소입니다. 여러분이 하는 모든 기여는 매우 감사하게 생각됩니다!

리포지토리 포크(Fork)- 기능 브랜치 생성:
git checkout -b feat/amazing-feature

• 변경 사항 커밋:
  git commit -m 'feat: add amazing feature'

• 브랜치에 푸시:
  git push origin feat/amazing-feature

• 풀 리퀘스트(Pull Request) 열기

기여 아이디어:

• 🆕 벤치마크 목록에 새로운 NIM 모델 추가
• 📊 새로운 차트 유형 또는 대시보드 위젯
• 🌐 국제화 / 번역
• 🐛 버그 수정 및 성능 개선
• 📖 문서 개선

시작하기 전에 열려 있는 이슈(Issues)를 읽어보세요. 이미 누군가 작업하고 있을 수도 있습니다!

• NVIDIA NIM API Documentation
• NVIDIA Model Catalog
• GitHub Actions Docs
• sql.js — 브라우저의 SQLite

MIT 라이선스에 따라 배포됩니다. 자세한 내용은 LICENSE를 참조하세요.