솔직한 분석: 오픈 소스 LLM API vs 자체 호스팅 비용 비교

지난 분기, 저는 vLLM 설정, CUDA 드라이버 불일치, 그리고 단 하나의 H100이 너무 뜨겁다며 새벽 3시에 저를 깨운 Prometheus 경고 폭풍과 씨름하며 주말을 통째로 날렸습니다. 월요일 아침이 되었을 때 저는 70B 모델을 서비스하는 작동 가능한 추론 클러스터(inference cluster)를 갖추게 되었습니다. 수요일이 되자 저는 AWS 청구서를 바라보며 제가 끔찍한 실수를 저지른 것은 아닌지 자문하고 있었습니다. 그 경험이 저로 하여금 API 액세스와 자체 호스팅(self-hosting)에 대한 수학적 계산을 제대로 해보도록 밀어붙였고, 참고로, 그 수치는 저를 충분히 놀라게 했으며 결국 저희의 추론 레이어(inference layer) 전체를 다시 작성하게 만들었습니다.

이 글은 제가 그 주말 전에 읽었더라면 좋았을 내용입니다. 백엔드 엔지니어의 관점에서 솔직한 달러 수치와 벤더의 미사여구 없이 오픈 소스 LLM을 API를 통해 바라본 실용적인 시각을 담았습니다. 내부적으로 보면, 자체 GPU 장비를 구축하는 것과 관리형 엔드포인트(managed endpoint)를 호출하는 것 사이의 선택은 주로 규모(scale), 운영 성숙도(ops maturity), 그리고 당신의 수면을 얼마나 가치 있게 여기느냐의 문제입니다. 제가 발견한 것들을 안내해 드리겠습니다.

2026년 오픈 소스 LLM 지형

오픈 웨이트(open weight) 생태계는 좋은 의미로 정말 말도 안 될 정도로 발전했습니다. 제가 2022년에 이 취미를 시작했을 때, "오픈 소스 AI"란 게이밍 GPU에서 Llama 7B를 실행하며 그것이 당신의 API 키를 환각(hallucinate)하지 않기를 바라는 것을 의미했습니다. 이제는 거의 모든 크기 구간에서 경쟁력 있는 모델들이 존재하며, 대부분은 OpenAI와 동일한 와이어 프로토콜(wire protocol)을 사용하는 깔끔한 REST 엔드포인트를 통해 접근할 수 있습니다. RFC 7231이 이 인터페이스가 얼마나 지루하고 예측 가능해졌는지 본다면 자랑스러워할 것입니다.

다음은 저희의 프로덕션 워크로드(production workloads)를 위해 제가 평가한 라인업입니다. 출력 가격은 100만 토큰당 가격이며, 이는 제공업체 전반에서 볼 수 있는 표준 단위입니다.

몇 가지 관찰 사항이 있습니다. 출력 가격이 $0.01/M인 Qwen3-8B와 GLM-4-9B는 프로토타이핑 (Prototyping) 용도로는 사실상 무료입니다. 저는 GLM-4-9B를 사용하여 고객 지원 티켓을 분류하는 서비스를 운영 중인데, 월간 청구 금액이 너무 적어서 존재 자체를 잊어버릴 정도입니다. 반대편 끝에는 GLM-4-32B와 Hunyuan-A13B가 있는데, 이들은 "프리미엄 추론 (premium reasoning)" 계층에 속하기 때문에 가격이 더 높지만, 여전히 GPT-4급 API보다 5배에서 20배 정도 저렴합니다. 제 생각에 대부분의 프로덕션 워크로드 (production workloads)를 위한 최적의 지점 (sweet spot)은 27B에서 36B 범위이며, 여기에 Qwen3.5-27B, ByteDance Seed-OSS-36B, 그리고 DeepSeek V3.2가 위치합니다.

자체 호스팅의 실제 비용: 결코 GPU만이 전부가 아니다

이것은 아무도 보여주지 않는 계산기의 부분입니다. "시간당 $2로 A100 두 대에서 Mixtral 8x7B를 실행합니다"라는 트윗을 볼 때, 그것은 하드웨어 (metal) 비용입니다. 서비스 비용이 아닙니다. 로드 밸런서 (load balancer), 관측성 스택 (observability stack), 모델 업데이트 파이프라인 (model update pipeline), 온콜 로테이션 (on-call rotation), 그리고 피크 부하 (peak load) 시 추론 서버 (inference server)가 OOM (Out of Memory) 상태가 되지 않도록 관리하는 담당자의 인건비를 더하고 나면, 실제 수치는 빠르게 불어납니다.

제가 잘 알고 있는 주요 제공업체(Lambda Labs, RunPod, Vast.ai 예약 인스턴스 등)를 통해 살펴본 실제 GPU 대여 현황은 다음과 같습니다:

하지만 그 표는 거짓입니다. 진실은 숨겨진 항목들에 있으며, 저는 아래에 고통스럽게 항목별로 정리해 두었습니다. 이것이 제가 내부 비용 대시보드 (cost dashboard)에서 추적하는 내용이며, 여러분이 자체 호스팅을 진지하게 고려하고 있다면 반드시 추적해야 할 내용입니다.

DevOps 항목은

시나리오 C: 일일 5억(500M) 토큰 (대기업 규모)