자, 이런 일이 있었습니다: 빠른 팁: 실제로 필요할 때까지 LLM 셀프 호스팅을 중단하세요

솔직히 말씀드릴게요 — 저는 작년에 셀프 호스팅 (self-hosting)의 구렁텅이에 빠졌고, 그 때문에 다시는 되돌릴 수 없는 약 3주간의 청구 가능한 업무 시간 (billable hours)을 허비했습니다. 이것은 제가 새벽 2시에 GPU를 대여하기 전에 누군가가 저에게 건네주었기를 바랐던 분석 내용입니다.

여러분의 고통을 덜어드리겠습니다.

첫 고객 인보이스를 받기 전, 제가 거의 2,000달러를 날릴 뻔한 이유

저는 작은 개발 숍 (dev shop)을 운영하고 있습니다. 저희는 두 명이고, 일이 몰릴 때는 교대로 투입되는 계약업체들이 있습니다. GPT-4o가 출시되고 모두가 AI 기능을 만들기 시작했을 때, 저는 모든 프리랜서가 그렇듯 패닉에 빠져 "인프라를 직접 제어해야 해"라고 생각했습니다.

그래서 Lambda Labs 인스턴스를 생성하고, 몇몇 오픈 소스 가중치 (open-source weights)를 내려받았으며, 주말 내내 vLLM과 씨름하며 두 번 망가뜨리고 한 번 고친 끝에, 아무도 보지 않는 스테이징 환경 (staging environment)에서 하루에 고작 네 건의 요청을 처리하는 동안 시간당 1.20달러를 태우고 있는 단일 A100을 보유하고 있다는 사실을 깨달았습니다.

모든 달러가 고객 인보이스에서 나와야 하는 상황에서는 이 계산이 성립하지 않습니다.

"AI 골드러시" 트위터 스레드에서 아무도 말해주지 않는 사실이 있습니다: 시중에 있는 프리랜서 및 소규모 에이전시 업무의 90%는, 직접 GPU를 운영하는 것보다 API 엔드포인트 (API endpoint)를 호출하는 것이 더 저렴하고, 빠르고, 정신 건강에도 좋습니다. 제가 실제로 고객 프로젝트를 위해 배포하는 오픈 소스 모델들을 사용하여 정확한 수치를 보여드리고, 언제 셀프 호스팅이 마침내 의미를 갖기 시작하는지(스포일러: 여러분이 생각하는 것보다 훨씬 나중입니다) 알려드리겠습니다.

제가 실제로 사용하는 모델들 (그리고 100만 토큰당 비용)

이것들은 현재 제가 번갈아 가며 사용하는 모델들입니다. 모두 오픈 가중치 (open weights) 모델이며, 모두 Global API를 통해 사용할 수 있고, 모두 정해진 가격대로 책정되어 있습니다 — 계산을 예쁘게 만들기 위해 숫자를 올림 하지 않았습니다.

토큰당 가격과 대비되는 저 GPU 비용 추정치를 처음 보았을 때, 저는 말 그대로 웃음이 터졌습니다. 출력당 $0.01/M인 Qwen3-8B라고요? 지난 화요일에 클라이언트의 요약 기능을 디버깅하면서 API 호출 비용으로 10달러를 썼습니다. 그 똑같은 10달러를 A100을 대여하는 데 썼다면 8시간의 컴퓨팅 시간을 확보할 수 있었을 텐데, 그 시간의 대부분은 제가 회의에 참석하는 동안 GPU가 유휴 (idle) 상태로 머물렀을 것입니다.

셀프 호스팅의 실제 비용 (단순히 GPU만의 문제가 아닙니다)

여기서부터 이야기가 흥미진진해집니다. 모두가 헤드라인에 나오는 GPU 가격만 인용하고는, 실제 청구서가 2~3배 더 높게 나오면 깜짝 놀라는 척을 합니다.

GPU 서버 항목

이 수치들은 Lambda Labs, RunPod, 그리고 Vast.ai의 예약 가격에서 가져온 것입니다. 클라우드 대여 비용은 합리적으로 보이지만, 로드 밸런서 (load balancer), 모니터링, 그리고 추론 서버 (inference server)가 스스로 붕괴될 때 새벽 3시에 대처할 수 있는 전문가가 필요하다는 사실을 깨닫기 전까지만 그렇습니다.

너무 늦기 전까지는 아무도 언급하지 않는 것들

네, 맞습니다. 400달러에 올라온 그 "저렴한 A100" 말인가요? 데브옵스 (DevOps) 투입 시간만 더해도 실제 비용은 월 $900부터 시작한다고 봐야 합니다. 만약 당신이 시니어 개발자로서 시간당 150달러를 청구한다면, 단 하나의 요청을 처리하기도 전에 시스템을 유지하기 위해서만 매달 6시간의 노동력을 쏟아부어야 한다는 뜻입니다.

나의 실제 월간 시나리오 (영수증 포함)

이론은 이론일 뿐입니다. 제가 실제로 마주하는 세 가지 클라이언트 계층에서 이 상황이 어떻게 전개되는지 보여드리겠습니다.

시나리오 A: 사이드 프로젝트 (일일 1M 토큰)

이것이 우리 대부분이 시작하는 지점입니다. 주말 동안의 해킹, 잠재 고객을 위한 프로토타입, 혹은 개인적인 도구 같은 것들 말이죠.

시장에서 가장 저렴한 GPU 대여 견적조차 이러한 사용 패턴에서는 API보다 32배 더 비쌉니다. 당신의 시간이 말 그대로 아무 가치도 없다면, 셀프 호스팅 (Self-hosting)이 승리하는 시나리오는 없습니다.

승자: API. 비교조차 되지 않습니다.

시나리오 B: 성장하는 클라이언트 (일일 50M 토큰)

여기서부터 흥미로워집니다. 당신은 스타트업으로부터 AI 기능을 구축하고 유지 관리하는 대가로 월 $8K의 리테이너 (Retainer)를 받고 있습니다.

API 경로는 이러한

승자: 클라이언트의 기존 인프라에 따라 다르지만, 개인 개발자나 소규모 업체에게는 여전히 API가 유연성 측면에서 승리합니다.

내가 고집스럽게 API를 고수하는 이유 (그리고 여러분도 그래야 하는 이유)

솔직히 말해서, 저는 셀프 호스팅 (Self-hosting)의 낭만을 사랑합니다. 자신만의 하드웨어에서 자신만의 모델을 실행한다는 것에는 분명 멋진 구석이 있습니다. 하지만 낭만이 계약업체의 인보이스를 대신 지불해주지는 않습니다. 제가 트레이드오프 (Trade-offs)를 생각하는 방식은 다음과 같습니다:

"다중 모델 (multiple models)" 행이 저의 결정을 확정 지었습니다. 클라이언트가 저에게 와서 "이 작업에는 Qwen을 써보고 싶고, 저 작업에는 Llama를, 또 다른 것에는 DeepSeek를 써보고 싶어요"라고 말할 때, 저는 그저 엔드포인트 (Endpoints)만 변경합니다. 아무것도 재배포할 필요가 없습니다. 지난달에는 클라이언트의 챗봇을 위해 오후 한나절 만에 세 가지 서로 다른 모델로 A/B 테스트를 진행했습니다. 여러분의 자체 GPU 클러스터에서 이 작업을 시도해 보세요.

내가 모든 클라이언트 프로젝트에 사용하는 하이브리드 플레이북 (Hybrid Playbook)

이것이 저의 실제 배포 토폴로지 (Deployment topology)입니다. 저는 구글 규모의 운영을 하는 것이 아닙니다. 이것은 한 번에 2~5개의 활성 클라이언트 프로젝트를 수행하기에 적합한 설정입니다.

개발 및 스테이징 (Development & Staging)  →  API (빠른 반복 (fast iteration))
운영 (일반) (Production (normal))           →  API (신뢰성 + SLA)
운영 (급증) (Production (burst))          →  API (용량 계획 (capacity planning) 불필요)
...

네, 모든 것이 API를 통해 진행됩니다. 이미 말씀드렸죠. 저는 실용주의자입니다.

상황이 바뀌는 시점은 클라이언트가 하루 2억 개 이상의 토큰 (200M+ tokens/day) 이상의 꾸준한 워크로드 (Workload)를 가지고 있고, 이미 GPU 인프라를 갖추고 있으며, 이를 유지 관리할 DevOps 팀까지 보유하고 있는 경우입니다. 지난 2년 동안 그런 클라이언트는 딱 한 번 있었습니다. 우리는 함께 계산해 보았지만, 운영 오버헤드 (Operational overhead) 때문에 여전히 API가 승리했습니다.

내가 모든 새 프로젝트에 집어넣는 실제 코드

이것은 제가 스타터 템플릿으로 사용하는 Python 스니펫 (Snippet)입니다. 이를 llm_client.py에 넣으면 작동하는 통합 (Integration)의 90%는 완료된 것입니다:

import os
import requests
from typing import Optional
...

그 estimate_cost 메서드 덕분에 최소 세 개의 프로젝트에서 비용을 낮게 책정하여 손해를 보는 상황을 면할 수 있었습니다. 고객이 "네, 그거보다 훨씬 적게 들 거예요"라고 말한 뒤, 실제 운영 트래픽(production traffic)이 완전히 다른 이야기를 하는 것을 얼마나 많이 목격했는지 모릅니다. 이제 저는 첫날부터 결과물에 비용 모델을 포함하여 구축합니다.

고객 프로젝트를 위한 빠른 사용 예시:

client = LLMClient()

result = client.chat(
...

100만 토큰당 0.01달러인 qwen3-8b는 분류(classification), 기본 요약(summarization), 개체명 인식(entity extraction)과 같이 볼륨은 크지만 중요도가 낮은 작업에 제가 즐겨 사용하는 모델입니다. 요청당 0.1센트라는 비용으로 "충분히 괜찮은" 결과물을 얻을 수 있으며, 이는 GPT-4o 급의 가격 책정으로는 경제적으로 불가능했을 기능들을 구축할 수 있음을 의미합니다.

나를 확신하게 만든 숫자

저는 지난 분기의 고객 인보이스(invoices)를 다시 검토하여 LLM API 호출에 지출한 총액을 계산했습니다. 그런 다음 그에 상응하는 GPU 비용이 얼마였을지 추산해 보았습니다.

분기별 API 지출: $1,847
분기별 GPU 비용 (모든 것을 셀프 호스팅했을 경우): $11,000에서 $28,000 사이

이것은 단순한 반올림 오차 수준이 아닙니다. 이것은 휴가를 가느냐 마느냐의 차이입니다. 2주 동안 계약직 직원을 고용하느냐 아니면 혼자서 모든 것을 하느냐의 차이입니다.

게다가 인프라 관리(infrastructure babysitting)에 낭비되었을 엔지니어링 시간의 기회비용은 계산조차 하지 않았습니다. 제 청구 요율(billing rate)을 기준으로 하면, 그것만으로도 쉽게 4,000~6,000달러가 더 추가되었을 것입니다.

셀프 호스팅이 마침내 타당해지는 시점

셀프 호스팅이 항상 틀렸다고 가정하지는 않겠습니다. 셀프 호스팅이 제 역할을 다하는 경우는 다음과 같습니다:

• 매일 5,000만(50M) 토큰을 지속적으로 초과하여 사용하는 경우. 그 시점부터는 API 비용이 상당한 금액으로 느껴지기 시작하며, 셀프 호스팅 (Self-hosting)이 비용 경쟁력을 갖게 됩니다.
• 이미 GPU를 보유하고 있는 경우. 고객사가 데이터 센터에 랙 (Rack)을 보유하고 있다면, 그것을 활용하십시오.
• DevOps 인력이 있는 경우. 셀프 호스팅은 본업 외의 업무가 됩니다. 이를 책임질 사람이 없다면, 새벽 3시에 호출(Paged)을 받게 될 것입니다.
• 데이터 거주성 (Data residency) 요구 사항이 있는 경우. 일부 산업군은 데이터를 제3자에게 전송할 수 없습니다. 이럴 때는 셀프 호스팅을 하고, 그에 맞춰 가격을 책정하십시오.

프리랜서 업무의 95%는 어떠냐고요? 아니요. 무조건 API를 사용하십시오.

내 생각 (My Two Cents)

내가 아는 모든 프리랜서 개발자는 다음 두 부류 중 하나입니다:

1. 적은 작업량임에도 GPU 비용에 너무 많은 돈을 쓰고 있거나
2. 누군가 트위터(Twitter)에서 셀프 호스팅이 "더 전문적"이라고 말했기 때문에 곧 그렇게 될 사람들

속지 마십시오. 실제 사용 패턴을 바탕으로 실제 수치를 계산해 보십시오. API 비용을 투명한 항목으로 고객에게 청구하십시오. 추론 서버 (Inference servers)와 싸우느라 시간을 허비하지 않으므로 기능을 더 빠르게 구축할 수 있습니다. 서비스 수준 협약 (SLA)을 다른 업체가 책임지므로 더 편하게 잠을 잘 수 있습니다.

수치는 거짓말을 하지 않습니다. API를 통한 오픈 소스 (Open-source) 모델 사용은 실제 규모에 도달할 때까지 셀프 호스팅보다 저렴합니다. 설령 규모가 커지더라도, 마진을 깎아먹는 것은 토큰당 가격이 아니라 운영 오버헤드 (Operational overhead)입니다.

고객용 결과물을 만들고 있으면서, GPU 문제 없이 모든 주요 오픈 소스 모델을 호출할 수 있는 단일 엔드포인트 (Endpoint)를 원한다면, Global API를 살펴보는 것도 가치가 있습니다. 처음 설정하는 데 약 15분 정도 걸렸고, 이제는 제 기본 스택 (Stack)의 일부가 되었습니다. 원한다면 확인해 보세요. 강요는 아니며, 그저 한 프리랜서가 다른 프리랜서의 청구 가능한 시간 (Billable hours)을 아껴주고 싶을 뿐입니다.