Show HN: 비용은 절반으로 줄이고 Fable 수준의 모델을 최적화하여 제공하기
요약
Experiential은 오픈 소스 게이트웨이이자 라우터로, 단일 OpenAI 호환 API를 통해 BYOK 로컬 모델을 사용할 수 있게 합니다. 이를 통해 사용 사례별 비용 및 모델 사용량을 제어하고, 트래픽을 최적화된 커스텀 라우터나 모델로 전환할 수 있습니다.
핵심 포인트
- 단일 API 엔드포인트로 여러 로컬/클라우드 모델 관리 가능
- 사용자 및 에이전트별 비용과 모델 사용량 제어 기능 제공
- OpenAI 호환 인터페이스를 통해 다양한 LLM 통합 용이
- Python 라이브러리 형태로 프로젝트 라우터 구현 지원
Experiential은 에이전트 워크플로우를 위한 오픈 소스 게이트웨이이자 라우터입니다:
- 하나의 OpenAI와 호환되는 API를 통해 호스팅된, BYOK(Bring Your Own Key), 로컬 모델을 사용할 수 있습니다.
- 어떤 사용자 및 에이전트가 어떤 사용 사례에 대해 어떤 모델을 사용할 수 있는지, 그리고 얼마나 많은 비용을 지출할 수 있는지 제어합니다.
- 프로덕션 트래픽을 품질, 속도, 비용에 최적화된 커스텀 라우터 또는 모델로 전환할 수 있습니다.
로컬 OpenAI와 호환되는 게이트웨이를 시작하세요. 첫 실행 시 설정 마법사가 공유 제공업체(provider), 모델, 추론 노력(reasoning-effort) 선택기를 사용하여 모든 선택된 제공업체 연결을 영구 저장한 다음, 공개 별칭(public alias), ID, 그리고 $50.00의 명령어 예산(command budget)에 대한 기본값을 보여준 후 일회용 키를 출력합니다:
pip install experiential
exp
opus-5와 같은 공개 별칭을 선택하고, 발급된 키를 캡처한 다음 요청을 보냅니다:
export EXP_GATEWAY_KEY=...
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Authorization: Bearer $EXP_GATEWAY_KEY" \
...
로컬에서 실행하는 것보다 관리형 게이트웨이를 선호하시나요? platform.experientiallabs.ai에 있는 호스팅 플랫폼은 https://api.experientiallabs.ai/v1에서 동일한 OpenAI와 호환되는 (그리고 Anthropic Messages) API를 제공합니다.
코딩 에이전트(Claude Code, Cursor, Codex 등)에게 전달할 복사 붙여넣기 프롬프트는 SETUP.md를 참조하세요. 에이전트가 설정을 대신 수행해 줍니다. 이 과정에서 네 가지 프롬프트를 수집합니다:
- LLM 트레이스를 원격 측정(telemetry)으로 업로드: 이메일로 즉시 계정을 생성한 다음, 기존의 LLM 트레이스를 플랫폼에 원격 측정 데이터로 가져오거나 업로드합니다.
- 추론 제공업체 키 연결 (BYOK): 계정을 만들고, 무료 패스스루를 위해 자체 OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks 또는 OpenRouter 키를 연결합니다.
- 게이트웨이에서 모델 호출 시작:
xpl_을 사용하여 OpenAI 및 Anthropic SDK로 첫 번째/v1호출을 수행합니다.
key, 그리고 선택적으로 기존 코딩 에이전트를 재지정할 수 있습니다. - 전체 온보딩: 이메일로 즉시 계정을 생성하고, 키를 연결하며, 지출 내역을 가져온 다음, 모든 코딩 에이전트(Claude Code, Cursor, Codex, Aider 및 유사한 도구) 또는 게이트웨이의 Conductor를 재지정합니다.
exp로 로컬 게이트웨이를 시작합니다.
(또는 exp run)
컴파일된 네이티브 데이터 플레인(data plane)은 루프백(loopback)에서 모든 라우트를 제공합니다. Python에서는 적합한 프로젝트 라우터(project router)를 공식 OpenAI 클라이언트로 로드할 수 있으며, 이는 자체 사설 게이트웨이에 의해 백업됩니다:
import exp
with exp.load_router("my-project") as client:
response = client.chat.completions.create(...)
먼저, 현재 에이전트에서 OpenTelemetry 트레이스(OpenTelemetry traces)를 수집합니다. 단순히 사용해보고 싶다면, 공개 터미널 작업 OTLP 데이터셋을 가져오세요:
curl -L -o traces.otel.jsonl \
그런 다음 프로젝트를 빌드합니다. 빌드 명령어는 제공업체(providers), 모델, 예산에 대해 안내하며, 트레이스 파일이 필요합니다:
# 에이전트 트레이스로부터 시뮬레이션하여 라우터를 최적화합니다.
exp build support-agent
라우터에서 트레이스를 수집한 후, Tinker를 사용하여 소유하는 오픈소스 모델을 미세 조정(fine-tune)하세요.
exp optimize model support-agent
익명화된 집계 PostHog 제품 원격 측정(telemetry)은 기본적으로 활성화되어 있습니다. 이는 프롬프트, 트레이스, 액션, 관찰(observations), 경로, 모델 이름, 자격 증명 또는 원시 고객 콘텐츠를 포함하지 않습니다.
exp config telemetry status
exp config telemetry disable
exp config telemetry enable
환경 설정은 .exp/settings.toml에 로컬로 저장됩니다.
uv sync --extra dev
uv run ruff format --check .
uv run ruff check ...
리포지토리 및 문서화 컨벤션(conventions)은 AGENTS.md에 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기