왜 "오프라인 우선 AI (Offline-First AI)"가 글로벌 사우스(Global South)에게 더 이상 선택이 아닌 필수인가

대부분의 AI 개발에는 조용한 가정이 깔려 있습니다. 당신의 도구를 사용하는 사람들이 신뢰할 수 있는 인터넷, 안정적인 전력, 그리고 해외 서버로 전송해도 안전한 데이터를 가지고 있다는 가정 말입니다.

그 가정은 세계 대부분의 지역에서는 틀렸습니다.

인프라의 현실

케냐, 탄자니아, 우간다에서는 모바일 인터넷 보급률은 높지만, 신뢰성은 높지 않습니다. 키수무(Kisumu)의 한 클리닉은 한 시간 동안은 Safaricom 신호가 강하다가도 다음 시간엔 전혀 없을 수 있습니다. 투르카나(Turkana)의 카운티 사무소는 간헐적인 전력으로 운영됩니다. 나쿠루(Nakuru)의 소농은 하루치 데이터 번들이 다 떨어지기 전 새벽에 농산물 가격을 확인합니다.

이러한 맥락을 위해 구축되는 AI 도구들은 인터넷이 작동하지 않을 때도 살아남아야 합니다. 단순히 우아하게 성능을 저하시키는(degrade gracefully) 것이 아니라, 살아남아야 합니다.

그것이 바로 offline-mcp가 만들어진 이유입니다.

오프라인 우선(offline-first)이 실제로 의미하는 것

기본적인 MCP 서버는 모든 요청에 대해 외부 LLM API를 호출합니다. 인터넷이 끊기면 도구는 실패합니다. API에 속도 제한(rate-limited)이 걸리면 도구는 실패합니다. 사용자가 데이터를 살 여유가 없으면 도구는 실패합니다.

offline-mcp는 Ollama를 래핑(wrap)합니다. Ollama는 오픈 웨이트 모델(Llama 3.2, Qwen 2.5, Gemma 3)을 기기에서 직접 실행하는 로컬 추론 런타임(local inference runtime)입니다. API 키가 필요 없습니다. 인터넷도 필요 없습니다. 데이터가 기기를 떠나지도 않습니다.

pip install offline-mcp

이 서버는 세 가지 도구를 노출합니다:

• run_local_inference — 설치된 모든 Ollama 모델에 프롬프트 전송
• list_local_models — 로컬 기기에서 사용 가능한 모델 확인
• check_ollama_status — 추론 런타임이 실행 중인지 확인

연결성 그 이상의 중요성

오프라인 우선이 중요한 두 번째 이유가 있으며, 이는 인터넷 신뢰성에 관한 것이 아닙니다.

그것은 바로 누가 데이터를 통제하느냐에 관한 것입니다.

글로벌 사우스(Global South) 전역에서, 원조나 서비스를 받는 조건으로 시민의 건강 기록, 토지 등록부, 시민 데이터에 대한 외국인의 접근 권한을 제공하도록 정부에 압력을 가하는 사례가 늘고 있습니다. AI 도구가 모든 쿼리(Query)를 외국 서버로 전송할 때, 이는 분석, 저장 및 마이닝(Mining)이 가능한 추론 데이터(Inference data)의 흐름을 생성합니다.

추론(Inference)이 로컬에서 실행될 때, 그러한 데이터 흐름은 존재하지 않습니다.

offline-mcp가 SII Stack의 주권 계층(Sovereign tier)과 결합된다는 것은 다음을 의미합니다:

• 쿼리가 로컬 Llama/Qwen 모델에서 실행됨
• OpenAI, Anthropic 또는 기타 외국 제공업체로 페이로드(Payload)를 전송하지 않음
• 외국 서버에 추론 로그(Inference log)가 남지 않음
• 간접적인 행동 데이터 수집이 없음

이것이 진정한 디지털 독립을 위한 아키텍처(Architecture)입니다.

하드웨어 현실

Ollama를 실행하는 Raspberry Pi 4 (8GB RAM, 약 $75)와 Llama 3.2 3B 모델은 다음을 처리할 수 있습니다:

• 스와힐리어(Swahili)를 이용한 의료 증상 분류(Triage)
• 토지 기록 조회
• 농산물 가격 문의
• 정부 양식 체크리스트

초당 1~3 토큰(Tokens) 속도는 클라우드 기준으로는 느리지만, 해당 사용 사례(Use case)에는 충분히 빠릅니다.

태양광 패널, 배터리, 그리고 Pi 하나. 그것이 바로 주권 AI 노드(Sovereign AI node)입니다.

더 넓은 스택과의 통합

offline-mcp는 동아프리카 조정 스택(East Africa coordination stack)에 포함된 31개의 MCP 서버 중 하나입니다. 전체 아키텍처는 다음과 같습니다:

Tier 3 (Sovereign) → offline-mcp + Ollama
Tier 2 (Eastern)   → SiliconFlow를 통한 DeepSeek/Qwen (<$0.14/M tokens)
Tier 1 (Western)   → Claude/Gemini (복잡한 추론을 위한 폴백(Fallback))

LiteLLM이 계층 간 라우팅(Routing)을 수행합니다. 기본값은 Tier 3인 로컬입니다. 필요한 경우에만 상위 계층으로 에스컬레이션(Escalation)됩니다.

72시간 오프라인 테스트: 모든 인터넷 케이블을 뽑더라도 시스템은 여전히 작동해야 합니다. 그것은 기능(Feature)이 아니라 기본값(Baseline)입니다.

다음에 구축할 것

오프라인 우선 추론(Offline-first inference)과 MCP 도구의 결합은 이전에는 존재하지 않았던 새로운 클래스의 AI 애플리케이션을 만들어냅니다:

• 케냐 농촌의 한 클리닉: 분류(Triage) 어시스턴트가 로컬에서 실행되며, SQLite에 로그를 기록하고, 연결이 복구되면 국가 보건 시스템과 동기화합니다.
• 토지 관리소: 소유권 검색(Title search) 어시스턴트가 오프라인으로 작동하며, 재연결 시 확인된 기록을 카운티 등록소로 전송합니다.
• 마타투(Matatu) 협동조합: 경로 최적화가 클라우드 없이 운전자의 휴대폰에서 실행됩니다.

이것들은 가설이 아닙니다. 오픈 소스 도구와 약 100달러 상당의 하드웨어로 오늘 바로 구축 가능한 것들입니다.

질문은 오프라인 우선 AI (Offline-first AI)가 기술적으로 가능한가 하는 것이 아닙니다. 가능합니다.

질문은 AI 생태계가 전 세계 대다수의 사람들을 위해 구축될 것인가, 아니면 그저 안정적인 클라우드 접속이 가능한 지역만을 위해 구축될 것인가 하는 점입니다.

offline-mcp는 MIT 라이선스이며, PyPI에 등록되어 있고, Glama와 Smithery에서 인덱싱되어 있습니다.

→ Full portfolio · GitHub · PyPI