내가 자급자족형 AI Lab을 구축한 방법: 취미에서 6개월 만에 부업 수입으로

6개월 전, 저에게는 Mac Mini 한 대와 로컬 AI (local AI)가 멋지다는 막연한 생각뿐이었습니다.

오늘날 저는 세 대의 머신, 6개의 GPU, 제 인프라를 관리하는 Telegram 봇, 그리고 제 하드웨어를 사용하여 AI 서비스를 제공하는 Fiverr 기그(gig)를 운영하고 있습니다. 이 랩(lab)은 자체 전기 요금, 하드웨어 업그레이드 비용, 그리고 제 월세의 상당 부분을 충당할 수 있을 만큼의 수익을 창출합니다.

이것이 어떻게 가능했는지, 그리고 이를 작동하게 만드는 정확한 아키텍처(architecture)를 소개합니다.

1단계: 취미 (0~2개월 차)

보통 이런 일들이 시작되는 방식과 같았습니다. 저는 ChatGPT의 사용량 제한 (rate limits)에 지쳐서 Mac Mini M4를 구매하고 Ollama를 설치했습니다.

첫 달은 순수한 실험의 연속이었습니다. Qwen을 실행하고, Llama를 실행하고, 16GB의 통합 RAM (unified RAM)에 들어가는 것은 무엇이든 실행해 보았습니다. 휴대폰에서 모델을 쿼리할 수 있는 Telegram 봇을 만들었습니다. 로컬 API 래퍼 (API wrapper)를 통해 주가를 가져오는 Garmin 워치 페이스를 작성하기도 했습니다.

현재까지 비용: 추가 비용 $0 (이미 Mac Mini를 보유 중).
수익: $0.
재미 수준: 높음.

Mac Mini는 가벼운 작업은 잘 처리했지만, 본격적인 작업 — 30B 코더 모델 (coder model), 이미지 생성, 배치 임베딩 작업 (batch embedding jobs) — 은 불가능하거나 고통스러울 정도로 느렸습니다.

그래서 저는 eBay에서 중고 RTX 3060 12GB를 150달러에 구매하여 오래된 Windows PC에 장착했습니다.

비용: 1회성 150달러.
확보된 능력: 실제 로컬 추론 (local inference), 비전 모델 (vision models), 제대로 된 코드 생성.

2단계: 깨달음 (2~3개월 차)

GPU를 추가할 때 발생하는 문제는 이것입니다: GPU는 약 80%의 시간 동안 유휴 상태 (idle)로 있다는 점입니다.

코딩 세션을 실행하면 팬이 돌아가고, 30초 대신 3초 만에 답변을 얻고 나면... 아무 일도 일어나지 않습니다. GPU는 그냥 전력만 소모하며 아무것도 하지 않은 채 앉아 있었습니다.

채굴 (mining)을 시도해 보았습니다. 2026년의 마진은 농담 수준입니다. folding@home도 시도해 보았습니다. 고결한 일이지만, 돈이 되지는 않습니다.

그러다 Vast.ai를 발견했습니다.

개념은 간단합니다. 당신의 머신에 데몬 (daemon)을 설치하고, 시간당 가격을 설정하면 사람들이 당신의 GPU를 대여하여 자신의 AI 워크로드 (workloads)를 실행합니다. 실제 사용된 초 단위로 비용을 지급받습니다. 암호화폐도, 풀 (pools)도, 복잡함도 없습니다.

저는 주로 실험 삼아 제 RTX 3060의 가격을 시간당 $0.15로 설정했습니다. 그리고 첫날 밤에 바로 대여되었습니다.

1주 차 수익: 약 $11.
직장을 그만둘 정도의 돈은 아니지만, 그렇다고 0원도 아닙니다.

더 큰 깨달음은 이것이 단순히 GPU를 대여하는 것에 그치지 않는다는 점이었습니다. 저는 이제 다른 사람들을 위해 작업을 수행할 수 있는 인프라(infrastructure) — 머신, 모델, API — 를 갖추게 된 것입니다.

3단계: 서비스 (3~5개월 차)

GPU 대여 수익은 쏠쏠하지만 불규칙합니다. 3일 차에는 $0

• GPU 대여 (GPU rental)를 하면 Windows PC를 가끔 사용할 수 없게 됩니다.
• Fiverr 작업은 데모를 위해 안정적인 가동 시간 (uptime)이 필요합니다.
• 개인 프로젝트 (워치 페이스, 개인용 RAG)는 계속 실행되어야 합니다.
• 로그를 계속 들여다보지 않고도 무언가 고장 났을 때 즉시 알아야 합니다.

그래서 저는 현재 "AI 운영 센터 (AI operations center)"라고 부르는 것을 구축했습니다. 오직 오케스트레이션 (orchestrate)만을 수행하는 Mac Mini입니다:

Mac Mini M4 (항상 켜져 있고, 항상 사용 가능)
├── Telegram Bot (Celebi)
│   ├── 상태 점검 (모든 머신, 모든 서비스)
...

라우터 (router)가 핵심 부품입니다. Windows PC가 Vast.ai에서 대여 중일 때는 자동으로 Ubuntu 박스나 Mac Mini로 전환됩니다. PC가 비어 있을 때는 속도를 위해 무거운 작업들이 그곳으로 라우팅됩니다.

저는 어떤 머신을 사용해야 할지 고민할 필요가 없습니다. 그저 질문을 던지면 시스템이 알아서 판단합니다.

수치 (6개월 차)

이 실험실의 재정 상태는 다음과 같습니다:

비용 제외 월 순수익: $100–480.
하드웨어 투자금 회수: 이미 3개월 차에 달성.

이것이 인생을 바꿀 만한 큰돈인가요? 아닙니다. 규모를 확장(scale)할 수 있냐고요? 당연합니다. 그리고 저는 그럴 계획입니다.

다음에 추가할 것

규모를 키우면 계산이 흥미로워집니다:

가동률이 70%일 경우: Fiverr 작업 수익을 제외하고도 대여 수익만 월 약 $340가 발생합니다.

병목 현상 (bottleneck)은 수요가 아니라 물리적인 설정입니다. 제대로 된 리그 (rig)를 구축하고, 발열 (thermals)을 관리하며, 케이블 정리를 해야 합니다. 하지만 소프트웨어 측면은 이미 해결되었습니다.

이를 가능하게 하는 아키텍처 (Architecture)

비슷한 것을 구축하고 싶다면, 다음과 같은 구성 요소가 필요합니다:

1. 로컬 LLM 스택 (Ollama)

• Ollama를 이용한 모델 서빙 (model serving)
• 소형 (4B) 및 대형 (30B) 모델의 혼합 사용
• 보유하고 있는 어떤 하드웨어에서든 실행 가능

2. 모델 라우터 (Model Router)

• 각 작업에 적합한 머신/모델을 선택하는 간단한 Python 함수
• 폴백 체인 (Fallback chain): GPU → CPU → 클라우드 (비상시에만 사용)
• 제가 만든 기본 버전을 여기에서 오픈 소스로 공개했습니다

3. 텔레그램 봇 (Telegram Bot, 알림 레이어)

• python-telegram-bot을 사용한 경량 봇
• 모든 서비스로부터 알림 수신
• 상태 확인을 위한 간단한 명령어 (/status, /income, /health)
• 이 패턴에 대해 여기에서 작성했습니다

4. GPU 대여 (Vast.ai)

• 데몬 (daemon) 설치, 가격 설정, 대기
• 수익을 사용하여 다음 GPU 자금 마련
• 유휴 상태로 방치될 하드웨어에서 발생하는 배당금처럼 취급

5. 서비스 레이어 (Fiverr)

• 자신만의 인프라를 셀링 포인트 (selling point)로 활용
• "내 하드웨어에서 실행됨" = 클라이언트의 API 비용 부담 없음
• 모든 것을 문서화하세요 — 클라이언트는 아키텍처 (architecture)를 보는 것을 좋아합니다

이것을 해야 할까요?

네, 만약 다음과 같다면:

• 이미 놀고 있는 GPU가 있는 경우
• 시스템을 구축하고 자동화하는 것을 즐기는 경우
• 가변적인 수입을 감당할 수 있는 경우 (어떤 달은 $150, 어떤 달은 $500)
• 읽는 것이 아니라 직접 해보면서 배우고 싶은 경우

아니요, 만약 다음과 같다면:

• 즉각적이고 예측 가능한 수입이 필요한 경우

• 하드웨어를 유지 관리하고 싶지 않은 경우

• "설정 후 방치 (set and forget)\

• 프로덕션 환경에서 LLM 추론 (LLM inference)을 실행하는 방법

• 이기종 하드웨어 (heterogeneous hardware) 전반에 걸쳐 워크로드를 라우팅하는 방법

• 개입 없이 몇 달 동안 실행되는 신뢰할 수 있는 자동화 구축 방법

• "컨설턴트"가 되지 않고 기술 서비스를 판매하는 방법

수입은 좋습니다. 하지만 기술은 그보다 더 가치 있습니다.

저는 로컬에서 AI를 실행하는 법, 자동화 사이드 프로젝트, 그리고 그냥 방치되었을 하드웨어로 가끔 수익을 창출하는 법에 대해 글을 씁니다. 이 내용이 유용하다면, 자유롭게 팔로우하거나 Telegram을 통해 연락해 주세요.

ai #sideproject #passiveincome #selfhosted #ollama