API 키 없이 Claude, ChatGPT, DeepSeek, Gemini와 통신하는 로컬 AI 게이트웨이 구축하기

AI를 활용해 개발하는 모든 개발자는 결국 똑같은 벽에 부딪힙니다. 무언가를 프로토타이핑하고 있고, 잘 작동하고 있습니다. 그러다 청구서가 날아오거나, 더 최악인 경우 속도 제한(Rate Limit)에 걸립니다. 429 RESOURCE_EXHAUSTED 오류를 바라보며 생각하죠: '분명 다른 방법이 있을 거야.' 있습니다. 그리고 그것은 바로 당신의 데스크톱에 있습니다.

아무도 말하지 않는 통찰
모든 주요 AI 기업은 UI를 통해 무료 접속을 제공합니다. Claude는 데스크톱 앱이 있습니다. ChatGPT도 데스크톱 앱이 있습니다. DeepSeek와 Gemini는 브라우저에서 실행됩니다. 로그인하고, 입력하면, 답변을 받습니다. 완전히 무료입니다. 그래서 저는 스스로에게 물었습니다: '동일한 모델을 한 단계 위에서 무료로 사용할 수 있는데, 왜 나는 API 접근 권한을 위해 비용을 지불하고 있는가?' 정답은 이렇습니다: 그것을 프로그래밍 방식으로 사용할 방법이 없기 때문입니다. 그래서 저는 직접 만들었습니다.

AI 게이트웨이란 무엇인가
AI 게이트웨이(AI Gateway)는 당신의 애플리케이션과 머신에 설치된 AI 데스크톱 앱들 사이에 위치하는 로컬 Flask 서버입니다. 당신이 HTTP 요청을 보내면, 이 서버는 OS 레벨의 자동화(Automation)를 사용하여 데스크톱 앱을 제어하고, 쿼리를 입력하고, 답변을 기다린 후, 이를 추출하여 JSON 형식으로 반환합니다.

당신의 앱 / 터미널 / 브라우저
↓
POST http://localhost:5000/ask
↓
AI 게이트웨이 서버 (Flask + Queue)
↓
OS 자동 감지 → 올바른 핸들러(Handler)로 라우팅
↓
AI 데스크톱 앱 제어 (Claude / ChatGPT / DeepSeek / Gemini)
↓
답변을 JSON으로 반환

API 키가 필요 없습니다. 과금도 없습니다. 토큰당 속도 제한도 없습니다. 그저 당신의 기존 무료 계정이 원래 하던 일을 수행할 뿐입니다. 단지 이제 당신의 코드가 그것과 대화할 수 있게 되었을 뿐입니다.

사용 방법
설정 (5분)

git clone https://github.com/malikasana/ai-gateway
cd ai-gateway
python -m venv .venv
.venv \Scripts\activate
pip install -r requirements.txt
copy .env.example .env
python server.py

서버는 http://localhost:5000 에서 시작됩니다. 시작하기 전에 AI 앱들이 열려 있고 로그인되어 있는지 확인하세요.

Python에서 쿼리 보내기

import requests
response = requests.

post("http://localhost:5000/ask", json={"query": "Explain recursion in one paragraph", "ai": "claude", "mode": "incognito"})
print(response.json()["reply"])

claude, chatgpt, deepseek, gemini와 함께 작동합니다. ai 필드를 변경하면 다른 모델과 통신할 수 있습니다.

응답 형식:
{
"status": "ok",
"ai": "claude",
"mode": "incognito",
"query": "Explain recursion in one paragraph",
"reply": "Recursion is...",
"chars": 240
}

브라우저 UI
브라우저에서 http://localhost:5000 을 여세요. 내장된 UI가 있습니다. 사용할 AI를 선택하고, 쿼리를 입력한 뒤, Send를 누르세요. ngrok을 통해 노출하면 모바일에서도 작동합니다.

ngrok을 통한 공개 액세스
ngrok http 5000
이제 휴대폰, 원격 서버, 어디에서든 로컬 게이트웨이에 접속할 수 있습니다.

아키텍처 (The Architecture)
프로젝트는 규모가 작지만 의도적으로 구조화되었습니다:

ai-gateway/
├── server.py # Flask 서버, /ask 및 /health 엔드포인트
├── queue_manager.py # 한 번에 하나의 요청 처리, OS 감지, 라우팅
├── templates/
│ └── index.html # 브라우저 UI
└── instances/
├── claude/windows/incognito.py
├── chatgpt/windows/incognito.py
├── deepseek/windows/incognito.py
└── gemini/windows/incognito.py

각 AI는 고유의 핸들러 (handler)를 가집니다. 큐 매니저 (queue manager)는 요청이 한 번에 하나씩 처리되도록 보장합니다. Claude에 두 가지 작업이 동시에 타이핑될 수는 없기 때문입니다. OS 감지 기능은 올바른 핸들러로 자동으로 라우팅하므로 플랫폼에 관계없이 동일한 API 호출이 작동합니다 (Mac 지원 예정).

이 프로젝트를 만들며 배운 점 (What I Learned)

데스크톱 자동화는 취약하지만 강력합니다. 모든 AI 앱은 저마다의 특이점이 있습니다. DeepSeek의 경우 신뢰할 수 있는 답변 추출을 위해 복사 버튼 (Copy button) 우회 방식이 필요했습니다. Gemini의 Chrome 자동화는 데스크톱 앱과 다르게 동작합니다. 각 핸들러마다 고유한 접근 방식이 필요했습니다.

큐 관리 (Queue management)는 생각보다 중요합니다. 초기 버전에서는 두 개의 동시 요청이 자동화 중간에 충돌하는 레이스 컨디션 (race conditions)이 발생했습니다. 큐는 직렬 실행 (serial execution)을 깔끔하게 강제합니다.

무료 티어 (free tier)는 진정으로 관대합니다.

개발 및 테스트 과정에서 네 가지 모델 모두에 수백 개의 쿼리 (queries)를 보냈습니다. 비용은 0원이었습니다. 이 기업들의 무료 티어 (free tier)는 API가 아닌 UI를 통해 사용한다면 상당히 상당한 수준입니다.

솔직한 한계점
이것은 프로덕션 (production) 환경의 API 대체재가 아닙니다. 이것이 무엇인지 냉정하게 파악하십시오:

• 한 번에 하나의 요청만 가능 — 동시 실행 (concurrent)이 아닌 큐 (queue) 기반 방식
• 데스크톱 앱이 열려 있어야 함 — API 호출이 아닌 자동화 (automation) 방식
• 현재 Windows만 지원 — Mac 지원은 진행 중
• 대화 메모리 (conversation memory) 아직 없음 — 각 쿼리는 상태가 없는 (stateless) 방식 (상태 유지 (stateful) 모드 예정)
• UI 변경에 취약함 — 만약 Claude가 데스크톱 앱 레이아웃을 업데이트하면 핸들러 (handler)가 작동하지 않을 수 있음

높은 처리량 (high-throughput)의 프로덕션 AI 호출이 필요하다면 공식 API를 사용하십시오. 이것은 프로토타입을 만들고, 실험하고, 사이드 프로젝트를 구축하거나, 단순히 현재 API 비용을 감당할 여유가 없는 개발자들을 위한 것입니다.

현재 상태 및 로드맵
✅ Claude — Windows 시크릿 모드 (incognito mode)
✅ ChatGPT — Windows 시크릿 모드 (incognito mode)
✅ DeepSeek — Windows 시크릿 모드 (incognito mode)
✅ Gemini — Windows 시크릿 모드 (incognito mode)
⬜ 모든 AI에 대한 Mac 지원
⬜ 상태 유지 모드 (stateful mode, 지속적인 대화)
⬜ 브라우저 UI 개선

가져오기
GitHub: github.com/malikasana/ai-gateway