This is a submission for the Hacktoberfest Open-Source AI Challenge Week 2: Side Hustle.
제가 만든 것 (What I Built)
RelayPilot은 LLM 리레이 스테이션 운영자를 위한 AI 오퍼레이션(ops) 코파일럿입니다. 리레이 스테이션이란 사용자와 모델 제공자 사이에 위치하여 API 키, 채널 할당량(quota), 청구서 등을 관리하는 작고 종종 1인 운영 서비스들을 말합니다.
저는 이 어려움을 직접 경험했습니다. 저도 무료 공개 리레이 스테이션을 운영하고 있기 때문입니다. RelayPilot은 제가 항상 가지고 싶었던 야간 엔지니어 역할을 합니다.
이 도구는 네 가지 기능을 수행합니다:
- 채널 상태 모니터링 (Channel health monitoring) — 정기적으로 모든 상위(upstream) 채널을 프로브하고 지연 시간(latency), 오류율, 할당량 소모를 추적하여, 문제가 생긴 채널이 몇 시간이 아닌 몇 분 안에 감지되도록 합니다.
- 자동 격리 (Automatic quarantine) — 오픈 웨이트 모델(open-weight model)이 핵심 사용 패턴을 로컬에서 분류합니다. 키가 갑자기 도난당한 것처럼 행동하기 시작할 때(새로운 지역에서 새벽 3시에 트래픽 급증 등), RelayPilot은 해당 키를 자동으로 격리하고 소유자에게 알림을 보냅니다.
- 자연어 오퍼레이션 질의 (Natural-language ops queries) —
코드 (Code)
https://github.com/2951461586/relaypilot — MIT 라이선스, 챌린지 기간 중 2026년 10월 13일 생성된 리포지토리.
스택: Python, FastAPI, Ollama (오픈 웨이트 모델, 로컬 추론), python-telegram-bot, SQLite. 채널 어댑터는 오픈 소스 Veloera/New API 게이트웨이에서 포크(fork)되었습니다.
구축 과정 (How I Built It)
- 이상 감지, 설계상 로컬 실행. 작은 오픈 웨이트 모델(Qwen3 via Ollama)을 사용하여 키별 사용 주기 — 요청률, 토큰 프로필, 시간대, 지리적 위치 — 를 정상/의심스러움으로 분류합니다. 이 모델은 운영자 자신의 장치에서 완전히 실행되며, Ollama에 연결할 수 없을 경우 내장된 휴리스틱 규칙으로 자동 폴백(fallback)됩니다. 키 로그는 리레이 비즈니스의 핵심 자산이므로, 사용량 텔레메트리 데이터가 서버를 벗어나는 일은 절대 없습니다.
- 정확성이 필요한 곳에만 결정론적 적용. 이 모델은 단지 _분류_만 수행합니다. 모든 금전과 관련된 결정(격리 임계값, 할당량 계산, 청구)은 순수한 코드로 이루어집니다. LLM이 잘못할 수 있는 산술 연산에는 절대 관여하지 않습니다.
- Veloera 어댑터. 채널 통합을 처음부터 작성하는 대신, 오픈 소스 Veloera 게이트웨이의 채널 추상화 기능을 활용했습니다. 따라서 RelayPilot은 리레이 자체와 동일한 플러그인 인터페이스를 사용하며 — 모든 Veloera 호환 스테이션에 쉽게 적용할 수 있습니다.
- UI로 Telegram 사용. 운영자들은 또 다른 대시보드를 원하지 않습니다. 그들이 원하는 것은 실제로 문제가 발생했을 때만 휴대폰이 진동하는 것입니다. 알림 피로는 설계상의 적이었습니다: 세 가지 심각도 수준, 조용한 시간대 설정, 일일 요약본을 제공합니다.
- 정적 랜딩 페이지가 리포지토리(
site/)에 포함되어 있어 .tech 도메인에 배포할 준비가 되어 있습니다 — 저는 Hacktoberfest 프로모션 코드를 확보했으며, 라이브 사이트가 올라오는 대로 여기에 링크하겠습니다.
오픈 혁신이 중요한 이유 (Why Does Open Innovation Matter?)
이 비즈니스에 필수적인 네 가지 이유가 있습니다. 장식이 아닙니다:
- 데이터는 건물 밖으로 나갈 수 없습니다. 핵심 사용 로그에는 공격자가 필요로 하는 모든 것이 담겨 있습니다. 이를 'AI 모니터링'을 위해 제3자 API로 전송하는 것은 부적절합니다. 로컬에서 실행되는 오픈 가중치(open-weight) 모델은 보안 도구가 또 다른 보안 구멍이 되는 것을 막아줍니다.
- 단위 경제학은 한계 비용 0일 때만 작동합니다. 모니터링은 매일 수천 개의 사용 창을 분류해야 하며, 이는 영구적인 작업입니다. 유료 API 가격으로는 모니터링 비용이 리레이(relay) 자체의 마진을 초과할 것입니다. 로컬 추론(Local inference)은 $9/월 등급을 손해를 보는 상품(loss leader)이 아닌 실제 이익으로 만듭니다.
- 운영자는 벤더가 아니라 모델을 교체해야 합니다. 더 좋은 소형 분류기(small classifier)가 출시되면, 저는 모델 파일을 교체할 뿐입니다. 계약 재협상도, API 마이그레이션도, 다른 사람이 소유한 재학습 파이프라인도 필요 없습니다. 전체 제품은 구조적으로 모델에 구애받지 않습니다(model-agnostic).
- 신뢰가 제품입니다. RelayPilot은 운영자들의 키와 사용자들을 신뢰합니다. 탐지 로직의 모든 줄은 검사 가능하며, 아무것도 외부로 전송되지 않습니다(nothing phones home). '저희가 당신의 키를 감시한다'는 것을 폐쇄된 블랙박스로 판매할 수는 없습니다.
나의 에이전트 세션
저는 이 제품을 AI 에이전트를 통해 제 지휘 아래 구축했습니다. 제가 아키텍처와 요구 사항을 지정했고, 에이전트가 코드를 작성했으며, 저는 위에서 시뮬레이션된 유출 시나리오를 통해 엔드투엔드로 검증했습니다. (DevRelay 세션 링크 없음 — 빌드는 저의 자체 환경에서 이루어졌습니다.)
수상 부문
- 종합(Overall) — 모든 유효한 제출물이 종합 상을 받을 자격이 있으며, 여기에 참가합니다.
- .tech 도메인 활용 최우수 — Hacktoberfest 프로모션 코드를 사용했으며 relaypilot.tech 등록이 진행 중입니다. 랜딩 페이지 링크는 마감일 전에 활성화되는 대로 여기에 게시될 것입니다.
