SGLang, vLLM, TGI와 같은 오픈 소스 추론 프레임워크는 모델 서빙 기능을 제공합니다. 하지만 이를 상용 MaaS 서비스로 전환하려면 여전히 추론과 게이트웨이 연결, 고객 접근 정책, 그리고 상업 운영 계층을 연결하는 과정이 필요합니다.
Alibaba Cloud Smart Studio는 이 전체 파이프라인을 운영 가능한 상용 등급의 MaaS 플랫폼으로 간소화하며, 모델에 대한 고급 추론 최적화(더 높은 TPS, 낮은 지연 시간 및 낮은 TTFT)를 제공하여 팀들이 GPU 활용도를 극대화하고 GPU 리소스를 몇 시간 만에 상업 서비스로 전환할 수 있도록 돕습니다.
Alibaba Cloud Smart Studio
1. 추론 엔진 대 완전한 솔루션
Inference Engine과 Smart Studio를 객관적으로 비교하려면, 팀들은 먼저 이 둘이 AI 인프라 스택의 서로 다른 계층을 위해 설계되었다는 점을 인식해야 합니다:
- 오픈 소스 추론 프레임워크(SGLang, vLLM, TGI 등): 모델 배포 및 API를 통한 추론 요청 서빙에 필요한 런타임을 제공합니다. 팀들은 이를 사용하여 모델 실험, 추론 벤치마킹 및 튜닝, 맞춤형 서빙 환경 구축 또는 내부 애플리케이션 구동에 활용합니다.
- Alibaba Cloud Smart Studio(통합 상용 MaaS 플랫폼): 모델 서빙과 수익화를 위한 올인원(all-in-one) 플랫폼입니다. 클러스터 및 모델 관리, 지원되는 모델에 대한 최적화된 추론, API 거버넌스, 다중 테넌트 계량 및 청구, 그리고 화이트 라벨 사용자 및 관리자 콘솔을 결합합니다.
2. 자체 구축 MaaS 플랫폼의 숨겨진 비용
일반적인 가정은 상용 MaaS 플랫폼이 단순히 추론 엔진 위에 API 게이트웨이와 청구 시스템만 추가함으로써 출시될 수 있다는 것입니다. 실제로는 어려운 부분은 각 구성 요소를 배포하는 것이 아니라, 이 모든 요소들이 하나의 안정적이고 고객에게 노출되는 서비스처럼 작동하게 만드는 것입니다.
자체 구축한 MaaS 플랫폼의 잠재적 과제 중 하나는 게이트웨이(gateway), 추론 서비스(inference service), 계정 시스템(account systems) 전반에 걸쳐 고객 접근, 사용량 및 청구(billing)를 일치시키는 것입니다. 팀은 또한 실패하거나 재시도된 요청, 중단된 스트림, 동시 사용량을 어떻게 처리할지 결정해야 합니다.
작업은 출시 후에도 계속됩니다. 모델, 추론 엔진(inference engines), CUDA 환경, 게이트웨이 또는 가격 책정 규칙(pricing rules)의 변경 사항은 성능이나 청구에 영향을 미칠 수 있습니다. 운영팀은 이러한 변경 사항을 테스트하고 서비스를 지속적으로 모니터링하며, 사용량을 조정하고 사고를 처리해야 합니다.
Alibaba Cloud Smart Studio는 이러한 기능들을 하나의 플랫폼에 통합하여 보다 직접적인 경로를 제공하며, GPU 운영자가 상용 MaaS 서비스를 출시하고 GPU 리소스를 수익화하는 데 도움을 줍니다.
Alibaba Cloud Smart Studio vs. Open-source Framework
3. 기능 비교
아래 표는 Smart Studio와 오픈 소스 추론 프레임워크(open-source inference frameworks)를 중심으로 상용 MaaS 스택을 구축하는 접근 방식을 비교합니다.
| 핵심 기능 | Alibaba Cloud Smart Studio | 오픈 소스 프레임워크로 구축하기 |
|---|
| 추론 최적화 (Inference optimization) | Smart Studio는 플랫폼에 추가되는 트렌드 오픈 소스 모델을 지속적으로 최적화합니다. 이러한 최적화를 통해 지원되는 모델의 TPS(초당 처리량), 지연 시간(latency), TTFT(Time To First Token)를 개선할 수 있습니다. | 기업은 자체 모델, GPU 및 워크로드를 위해 추론 설정을 구성하고 튜닝해야 할 수 있습니다. SGLang과 같은 일부 프레임워크는 KV-캐시 재사용 및 P/D 분리(disaggregation)와 같은 기능을 제공합니다. |
| API 접근 및 트래픽 거버넌스 (API access and traffic governance) | 내장 인증 및 고객별 속도 제한(rate limits)이 적용된 OpenAI와 호환되는 API 게이트웨이를 제공합니다. | 기업은 추론 API와 게이트웨이 정책을 고객 계정에 연결해야 합니다. |
| 가격 책정, 청구 및 다중 테넌트 계량 (Pricing, billing, and multi-tenant metering) | 고객 및 모델 수준의 사용 기록, 가격 책정 및 제한 제어, 그리고 청구 보기(billing views)를 제공합니다. 지원되는 결제 게이트웨이는 고객 결제 워크플로우에 연결할 수 있습니다. | 추론 프레임워크는 일반적으로 완전한 상업적 청구 시스템을 제공하지 않습니다. 기업은 사용 계량(usage metering), 가격 책정, 청구 및 결제 워크플로우를 구축하거나 통합해야 합니다. |
| 화이트 라벨 고객 경험 (White-label customer experience) | 화이트 라벨 사용자 콘솔 및 관리자 콘솔을 제공하여 기업이 자체 상업 브랜드로 서비스를 제공하고 관리할 수 있게 합니다. | 기업은 브랜딩된 고객 및 관리자 콘솔을 구축하거나 통합해야 합니다. |
추론 최적화에 대한 더 기술적인 세부 정보는 KV-Pool 심층 분석을 읽어보세요.
Alibaba Cloud Smart Studio vs. Open-source Framework
4. 상업적 유연성 확장
Alibaba Cloud Smart Studio는 자체 호스팅 모델 서비스와 상용 모델 API를 결합하여 기업이 더 광범위한 범위의 모델을 제공하도록 돕습니다.
이를 통해 기업은 두 가지 경로(각각 또는 함께 사용 가능)를 통해 더 많은 고객 요구 사항에 대응할 수 있습니다:
- GPU 수익화 (BYO-GPU): 기업이 자체 GPU에서 모델을 실행하여 내부 사용용이거나 고객에게 모델 서비스를 판매하는 경우입니다.
- 라우터 수익화 (BYO-Key): 기업이 Model Studio의 모델을 경쟁력 있는 가격에 재판매하거나, 제3자 모델 API에 대한 자체 가격을 설정하여 재판매 마진을 얻는 경우입니다.
5. 어떤 것을 선택해야 할까요?
다음과 같은 경우 Alibaba Cloud Smart Studio를 선택하세요: 하나의 플랫폼을 통해 GPU를 관리하고, 모델 서비스를 배포하며, 고객에게 모델 API를 제공하고자 하는 경우입니다. 내장된 API 게이트웨이, 계량(metering), 및 청구 도구는 토큰 기반 API 비즈니스 출시로 더욱 직접적인 경로를 제공합니다.
다음과 같은 경우 오픈 소스 추론 프레임워크(inference framework)를 선택하세요: 알고리즘 연구, 모델 테스트 또는 소규모 내부 사용을 위해 필요하며 모델 API를 판매할 필요가 없는 경우입니다. 이 접근 방식은 이미 GPU 관리, API 액세스 및 청구에 대한 성숙한 플랫폼을 갖춘 기업에도 적합합니다.
다음 단계:
상용 에디션 탐색 또는 데모가 필요한 경우:
