Michael-A-Kuykendall/shimmy

Shimmy 는 영원히 무료로 제공됩니다. 별표 없이. "현재 무료"라는 표시 없이. 유료 전환 없이.

🚀 Shimmy 가 도움이 되신다면 후원해 주세요 — 지원금의 100% 는 이를 영원히 무료로 유지하는 데 사용됩니다.

$5/월: 커피 티어 ☕ - 영원의 감사 + 후원자 배지**$25/월**: 버그 우선순위 지정 🐛 - 우선순위 지원 + SPONSORS.md 에 이름 기재**$100/월**: 기업 후원자 🏢 - 로고 배치 + 월간 오피스 아워**$500/월**: 인프라 파트너 🚀 - 직접 지원 + 로드맵 입력

🎯 후원자가 되세요 | 멋진 후원자들을 확인하세요 🙏

Shimmy 는 GGUF 모델에 대해 100% OpenAI 호환 엔드포인트를 제공하는 싱글 바이너리입니다. 기존 AI 도구를 Shimmy 로 포인팅하면 단순히 작동합니다 — 로컬에서, 사적으로, 무료로.

🎉 v1.9.0 에서 NEW: 다운로드 하나만으로 모든 GPU 백엔드가 포함됩니다! 컴파일 없이, 백엔드 혼란 없이 — 다운로드하고 실행하세요.

Shimmy 를 포크하거나 서비스로 통합하든, 우리는 완전한 문서화와 통합 템플릿을 제공합니다.

# 1) 미리 빌드된 바이너리 다운로드 (모든 GPU 백엔드 포함)
# Windows:
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-windows-x86_64.exe -o shimmy.exe
./shimmy.exe serve &
# Linux:
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-linux-x86_64 -o shimmy && chmod +x shimmy
./shimmy serve &
# macOS (Apple Silicon):
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-macos-arm64 -o shimmy && chmod +x shimmy
./shimmy serve &
# 2) 모델 확인 및 선택
./shimmy list
# 3) OpenAI API 스모크 테스트
curl -s http://127.0.0.1:11435/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model":"REPLACE_WITH_MODEL_FROM_list",
"messages":[{"role":"user","content":"Say hi in 5 words."}],
"max_tokens":32
}' | jq -r '.choices[0].message.content'

코드 변경 없음 — 단순히 API 엔드포인트만 변경하세요:

모든 OpenAI 클라이언트: Python, Node.js, curl 등.개발 애플리케이션: 표준 SDK 와 호환VSCode 확장: http://localhost:11435 로 포인팅

Cursor Editor: 내장된 OpenAI 호환성Continue.dev: 드롭인 모델 제공자

• Node.js (openai v4)

import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "http://127.0.0.1:11435/v1",
apiKey: "sk-local", // placeholder, Shimmy ignores it
});
const resp = await openai.chat.completions.create({
model: "REPLACE_WITH_MODEL",
messages: [{ role: "user", content: "Say hi in 5 words." }],
max_tokens: 32,
});
console.log(resp.choices[0].message?.content);

• Python (openai>=1.0.0)

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:11435/v1", api_key="sk-local")
resp = client.chat.completions.create(
model="REPLACE_WITH_MODEL",
messages=[{"role": "user", "content": "Say hi in 5 words."}],
max_tokens=32,
)
print(resp.choices[0].message.content)

자동으로 Hugging Face 캐시, Ollama, 로컬 디렉토리에서 모델을 찾습니다. 포트 자동 할당을 충돌 방지합니다. LoRA 자동 감지를 수행합니다.