저는 지난 3년 동안 JARVIS OS를 구축하는 데 시간을 보냈습니다. 이는 1,000개 이상의 자율 에이전트(autonomous agents)를 동시에 실행하고, 300ms 미만으로 음성을 처리하며, 클라우드 대안의 아주 적은 비용만으로 운영되는 완전 자율형 온프레미스(on-premise) AI 인프라입니다. 오늘 저는 전체 아키텍처, 주요 결정 사항, 그리고 배운 교훈들을 공유하고자 합니다. → 라이브 사이트 및 상세 내용: jarvis-delmas.netlify.app

JARVIS OS란 무엇인가?
JARVIS OS는 여러분의 자체 하드웨어에서 완전히 실행되도록 설계된 분산형 AI 운영체제(operating system)입니다. OpenAI, Azure를 사용하지 않으며, 데이터가 여러분의 인프라를 벗어나지 않습니다.

주요 운영 수치:

• 1,000개 이상의 자율 에이전트(autonomous agents) 동시 실행
• 300ms 미만의 음성 지연 시간 (Whisper CUDA 최적화)
• 서킷 브레이커(circuit-breakers)를 갖춘 835개의 자동 복구(auto-healing) 파이프라인
• 60개의 MIT 라이선스 리포지토리(repos)에 걸친 280,741줄의 Python 코드
• 클러스터 내 12개의 GPU
• 벤치마크: 81.6/100 (기록 세션: 97/100)
• 동일한 클라우드 설정 대비 인프라 비용 72% 절감

9계층 아키텍처 (The 9-Layer Architecture)
계층 1: 하드웨어 (GPU 클러스터, NVMe, InfiniBand)
계층 2: OS + 가상화 (Linux, Docker, CUDA)
계층 3: LLM 엔진 (LM Studio, Ollama, 멀티 모델 라우팅)
계층 4: 메모리 시스템 (작업 기억(working) → 일화 기억(episodic) → 의미 기억(semantic) → 절차 기억(procedural))
계층 5: 에이전트 오케스트레이션 (OpenClaw Gateway, 1,000개 이상의 에이전트)
계층 6: MCP 툴킷 (88개의 핸들러, 20개 이상의 커넥터)
계층 7: 파이프라인 엔진 (835개의 Domino 자동 복구 파이프라인)
계층 8: 음성 인터페이스 (Whisper → LLM → TTS <300ms)
계층 9: 외부 API (TradeOracle, Telegram, GitHub)

차이를 만든 5가지 아키텍처 결정 사항

1. 설계 단계부터 온프레미스(On-Premise) 적용
   대부분의 팀은 클라우드로 시작하여 나중에 마이그레이션하려고 시도합니다. 우리는 첫날부터 온프레미스로 시작했습니다. 결과: 콜드 스타트(cold start) 제로, API 속도 제한(rate limits) 제로, GDPR 네이티브.
   비용 비교:

• 클라우드 동일 환경: 연간 €50,000–500,000
• JARVIS OS: 일회성 배포 + 유지보수

2. MCP를 통한 프로토콜 우선 방식
   직접적인 통합 대신, 모든 것은 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)을 통해 이루어집니다.

우리의 MCP 툴킷(Toolkit)은 파일 시스템(filesystem), GitHub, Notion, Slack, PostgreSQL, Redis, 벡터 DB(vector DBs), Telegram, 브라우저 자동화(browser automation), 그리고 커스텀 CUDA 엔드포인트(custom CUDA endpoints)를 연결하는 88개의 핸들러(handlers)를 보유하고 있습니다. 어떤 새로운 에이전트(agent)라도 즉시 이 88가지 기능에 접근할 수 있습니다.

3. 4계층 메모리 아키텍처 (4-Layer Memory Architecture)

JARVIS OS의 메모리 계층 구조

working_memory = RedisCache ( ttl = 3600 ) # 현재 컨텍스트 (Current context)
episodic_memory = PostgreSQL ( table = " episodes " ) # 최근 이벤트 (Recent events)
semantic_memory = ChromaDB ( collection = " knowledge " ) # 사실 및 개념 (Facts & concepts)
procedural_memory = FileSystem ( path = " ./skills/ " ) # 학습된 기술 (Learned skills)

Π-벡터 압축(Π-vectorial compression)은 15:1의 압축률을 달성하여, 동일한 토큰 예산(token budget) 내에서 15배 더 많은 컨텍스트(context)를 수용합니다.

4. 자가 치유 파이프라인 (Auto-Healing Pipelines)
   835개의 모든 파이프라인에는 서킷 브레이커(circuit-breakers)와 13개의 자동 트리거(auto-trigger) 메커니즘이 내장되어 있습니다.

@circuit_breaker ( failure_threshold = 3 , recovery_timeout = 60 )
@auto_retry ( max_attempts = 3 , backoff_factor = 2 )
async def run_pipeline ( pipeline_id : str , context : dict ):
# 자동 복구가 포함된 파이프라인 실행
...

5. 음성 파이프라인 (Voice Pipeline)
   300ms 미만
   스택(Stack): Whisper (CUDA) → LLM 라우팅 (routing) → TTS → 오디오 출력 (audio output)
   최적화 사항:

• float16 정밀도를 사용하는 CUDA 최적화 Whisper
• 스트리밍 추론 (token-by-token TTS)
• 별도 스레드에서의 웨이크 워드 감지 (Wake word detection)
• 오디오 버퍼 프리워밍 (Audio buffer pre-warming)
  평균 벤치마크: P95 GPU에서 엔드 투 엔드(end-to-end) 247ms

오픈 소스 스택 (Open-Source Stack)
LLMs: Ollama, LM Studio, GGUF 모델
오케스트레이션 (Orchestration): OpenClaw Gateway (커스텀, MIT)
메모리 (Memory): PostgreSQL + pgvector, ChromaDB, Redis
음성 (Voice): Whisper CUDA, 커스텀 TTS 파이프라인
MCP: 88개의 커스텀 핸들러 (handlers)
컨테이너 (Containers): Docker (10개 서비스), NVIDIA GPU Operator
모니터링 (Monitoring): Prometheus + Grafana
언어 (Languages): Python (주력), Rust (성능 임계 영역)
60개의 모든 리포지토리(repos)는 GitHub에서 MIT 라이선스로 제공됩니다: 👉 github.com/Turbo31150

JARVIS OS에서 실행 중인 실제 모듈 (Real-World Modules)
TradeOracle — 암호화폐/주식 시그널을 위해 7개의 LLM이 합의 도출
Healthcare Multi-Agent — FHIR 호환 의료 전사 (medical transcription)
Domino Engine — 835개의 자가 치유 (self-healing) 데이터 파이프라인
OpenClaw Gateway — 프로덕션 환경에서 1,000개 이상의 에이전트를 오케스트레이션

3년 후 얻은 핵심 교훈 (Key Lessons)
온프레미스 (on-prem)에서 시작하라 — 클라우드 마이그레이션은 첫날부터 온프레미스에서 구축하는 것보다 10배 더 어렵습니다.
통합 (integrations)보다 프로토콜 (protocols) — MCP는 우리를 통합 지옥 (integration hell)에서 구해냈습니다.
메모리는 가장 어려운 문제다 — 에이전트 실패의 80%는 메모리 일관성 (memory coherence) 문제입니다.
음성 지연 시간 (Voice latency)은 이분법적이다 — 사용자는 300ms 미만은 수용하지만, 500ms 이상은 거부합니다.
자가 치유 (Auto-healing)가 아니면 의미 없다 — 프로덕션 파이프라인은 첫날부터 서킷 브레이커 (circuit-breakers)가 필요합니다.

직접 구축하는 법을 배우세요
유사한 시스템을 구축하고 싶다면, 제가 모든 것을 문서화해 두었습니다:
🎓 Claude Code 숙달 — 13개의 레슨