Launch HN: IonRouter (YC W26) – 고처리량, 저비용 추론 (inference)

우리의 커스텀 추론 (inference) 스택은 단일 GPU에서 모델을 멀티플렉싱 (multiplexing)하고, 밀리초 (ms) 단위로 교체하며, 트래픽에 실시간으로 적응합니다. Grace Hopper를 위해 처음부터 구축되었습니다.

우리의 플릿 (fleet)에 여러분의 파인튜닝 (finetunes), 커스텀 LoRA, 또는 모든 오픈 소스 모델을 배포하세요. 콜드 스타트 (cold starts)가 없는 전용 GPU 스트림과 초 단위 과금이 제공됩니다.

팀들은 최고 성능의 로보틱스 인지 (robotics perception), 다중 카메라 감시 (multi-camera surveillance), 게임 에셋 생성 (game asset generation), 그리고 AI 비디오 파이프라인 (AI video pipelines)을 위해 Ion을 사용합니다.

기존의 OpenAI 클라이언트를 Ion으로 지정하세요. 어떤 언어, 어떤 프레임워크든 상관없습니다. 단 한 줄의 변경만 필요합니다.

from openai import OpenAI
client = OpenAI(
api_key="sk-your-key-here",
base_url="https://api.ionrouter.io/v1"
)
response = client.chat.completions.create(
model="qwen3.5-122b-a10b",
messages=[{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "..."}},
{"type": "text", "text": "What's in this image?"}
]
}]
)

백만 토큰 (million tokens)당 비용을 지불하세요. 유휴 비용 (idle costs)은 없습니다.

ZhiPu AI의 플래그십 600B+ MoE 모델로, 8x B200 GPU 상에서 EAGLE 투기적 디코딩 (speculative decoding)을 통해 최첨단 추론 (reasoning), 코딩 (coding), 그리고 다국어 능력을 제공합니다.

MoonShot AI의 프런티어 추론 (reasoning) 모델로, 긴 문서 이해, 다단계 추론 체인 (multi-step reasoning chains), 그리고 기술 및 과학 분야 전반에 걸친 복잡한 문제 분해 (problem decomposition)를 위해 설계되었습니다.

MiniMax의 플래그십 1M-컨텍스트 (1M-context) 언어 모델로, 긴 문서, 다회차 대화 (multi-turn dialogue), 그리고 복잡한 분석 전반에 걸쳐 강력한 추론 (reasoning)과 지시 이행 (instruction following) 능력을 제공합니다.

Cumulus의 가장 유능한 오픈 소스 모델 — 10B의 활성 파라미터 (active parameters)를 가진 122B MoE로, 코딩, 추론, 그리고 다국어 벤치마크에서 선도적인 폐쇄형 모델 (proprietary models)들과 경쟁합니다.

프런티어 오픈 소스 120B 모델로, 선도적인 폐쇄형 시스템 (closed-source systems)과 비교 가능한 최첨단 추론 (reasoning) 및 지시 이행 (instruction following)을 제공하며, 복잡한 에이전틱 워크플로우 (agentic workflows)와 고급 코드 생성에 이상적입니다.

FastGen 런타임 (runtime)을 통해 속도가 최적화된 14B 텍스트-투-비디오 (text-to-video) 모델로, 강력한 동작 일관성 (motion coherence)과 함께 10초 미만으로 클립을 생성합니다.

Black Forest Labs의 가장 빠른 Flux 모델로, 실시간 애플리케이션 (real-time applications), 프로토타이핑 (prototyping) 및 대량 처리 파이프라인 (high-volume pipelines)에 이상적인 4초 미만의 선명한 이미지 생성 (image generation) 성능을 제공합니다.