Together AI는 전용 모델 추론 (Model Inference)을 위한 혁신적인 용량 인식 라우팅 (Capacity-Aware Routing) 아키텍처를 통해 AI 모델이 배포되는 방식을 혁신하고 있습니다. 이 시스템은 AI 모델의 예측 가능하고 확장 가능하며 효율적인 배포를 제공하도록 설계되었으며, 이는 고급 AI 기능을 더 넓은 사용자층에게 전달하는 데 있어 매우 중요한 단계입니다. 고정된 비율이 아닌 실제 리소스 용량에 집중함으로써, Together AI의 접근 방식은 동적인 배포, 정교한 A/B 테스트, 그리고 중단 없는 (Zero-downtime) 원활한 업데이트를 가능하게 합니다.

기초: 엔드포인트 (Endpoints), 배포 (Deployments), 그리고 설정 (Configurations)

Together AI의 전용 모델 추론 시스템의 핵심은 서로 연결된 세 가지 구성 요소인 엔드포인트 (Endpoints), 배포 (Deployments), 그리고 설정 (Configurations)을 기반으로 구축됩니다.

• 설정 (Configurations, Configs): 이는 추론을 위한 필수 파라미터를 정의하는 불변의 레시피 역할을 합니다. 설정은 추론 엔진 (Inference Engine), 필요한 GPU 사양 (유형 및 개수), 그리고 원하는 최적화 프로필 (지연 시간 (Latency), 처리량 (Throughput), 또는 균형 (Balanced))을 지정합니다. 설정은 불변(Immutable)이기 때문에 배포에 대해 일관된 동작을 보장합니다. 모든 변경 사항은 새로운 리비전 (Revision)을 필요로 하며, 이는 안정적인 롤백 (Rollback) 지점을 제공합니다.
• 배포 (Deployments): 각 배포는 특정 모델 리비전 및 특정 설정과 연결됩니다. 결정적으로, 배포에는 서비스 중인 특정 모델 버전에 연결된 오토스케일링 (Autoscaling) 정책이 포함됩니다. 이를 통해 시스템은 수요에 따라 실행 중인 인스턴스 수를 자동으로 조정할 수 있습니다.
• 엔드포인트 (Endpoints): 이는 트래픽의 진입점 역할을 하는 안정적인 사용자 대상 명칭입니다. 엔드포인트는 할당된 가중치 (Weights)와 준비된 복제본 (Replicas)의 수를 기반으로 들어오는 요청을 하나 이상의 배포로 안내합니다.

이러한 계층적 구조는 AI 모델 서빙 (Serving)에 대한 세밀한 제어를 제공하여, 가장 복잡한 AI 워크로드조차 견고하게 관리할 수 있게 합니다.

용량 인식 라우팅 (Capacity-Aware Routing): 효율성의 엔진

Together AI 시스템의 진정한 혁신은 용량 인식 라우팅 (Capacity-Aware Routing) 메커니즘에 있습니다. 이 시스템은 정적인 백분율 기반의 트래픽 분할에 의존하는 대신, 각 배포 (deployment)의 실제 용량에 따라 트래픽을 동적으로 할당합니다.

트래픽 분할은 {deployment_id, weight} 쌍의 리스트로 정의됩니다. 그런 다음 시스템은 할당된 가중치 (weight)에 현재 준비된 복제본 (ready replicas)의 수를 곱하여 각 배포의 유효 용량을 계산합니다. 이후 트래픽은 이 계산된 용량에 비례하여 라우팅됩니다. 예를 들어, 두 배포의 가중치가 동일하지만 한쪽의 활성 복제본 수가 두 배라면, 해당 배포는 자연스럽게 트래픽의 약 3분의 2를 받게 되고, 다른 배포는 3분의 1을 받게 됩니다. 이러한 지능적인 설계는 배포 규모가 확장됨에 따라 트래픽 부하가 자동으로 조정되도록 보장하여, 과포화 (over-saturation)를 방지하고 유휴 자원 (idle resources)의 위험을 최소화합니다.

이러한 용량 기반 접근 방식은 변동성이 큰 자원 가용성을 다룰 때 특히 유익합니다. 콜드 스타트 (cold starts) 또는 일시적인 장애로 인해 준비된 복제본이 0개인 배포는 용량 기여도가 0이므로 트래픽을 받지 않습니다. 이를 통해 트래픽은 사용 가능하고 상태가 양호한 배포로 원활하게 흐르게 되며, 수동 개입 없이도 지속적인 서비스를 보장합니다. 이는 복제본 수가 변경될 때 비효율적인 자원 활용이나 서비스 저하를 초래할 수 있는 기존의 백분율 기반 분할 방식과 극명한 대조를 이룹니다.

원활한 업데이트를 위한 고급 배포 전략

Together AI의 아키텍처는 효율적인 스케일링 (scaling)을 보장할 뿐만 아니라, 제로 다운타임 (zero-downtime) 업데이트를 포함한 고급 배포 전략을 용이하게 합니다.

• 롤아웃 (Rollouts): 새로운 모델 버전은 사용자 하위 집합에 점진적으로 롤아웃 (roll out)될 수 있으며, 이를 통해 전체 배포 전 세심한 모니터링이 가능합니다.
• A/B 테스트 (A/B Testing): 시스템은 A/B 테스트 코호트 (cohorts)를 지원하여, 개발자가 합계가 100%가 되는 정수 퍼센티지를 사용하여 고정된 트래픽 점유율을 할당할 수 있도록 합니다. 이러한 조정은 간단한 API 업데이트를 통해 동적으로 수행될 수 있어, 모델 성능의 실시간 실험 및 최적화를 가능하게 합니다.
• 섀도우 실험 (Shadow Experiments): 이 기능은 사용자 경험에 영향을 주지 않으면서 새로운 모델 버전이 라이브 트래픽의 복사본을 수신할 수 있도록 합니다. 이는 전체 롤아웃 (rollout)을 결정하기 전, 프로덕션과 유사한 환경에서 새로운 모델의 성능과 영향을 테스트하는 데 매우 귀중합니다.

이러한 고급 전략들은 집합적으로 제로 다운타임 (zero-downtime) 업데이트를 달성하는 데 기여하며, 모델 업데이트 및 변경 중에도 사용자가 중단 없는 서비스를 경험할 수 있도록 보장합니다.

사전 벤치마크된 프로필을 통한 배포 단순화

최적의 구성을 만드는 것이 복잡할 수 있다는 점을 인식하여, Together AI는 지원되는 많은 모델에 대해 사전 벤치마크된 '배포 프로필 (deployment profiles)'을 제공합니다. 이 프로필들은 플랫폼에 의해 엄격하게 테스트되고 정제된, 인증된 모델 및 구성 (model-and-config) 쌍을 나타냅니다.

예를 들어, 사용자는 Gemma 4 31B 배포와 같은 모델에 대한 프로필을 탐색하여 자신의 특정 요구 사항에 가장 잘 부합하는 하드웨어 및 최적화 설정을 선택할 수 있습니다. 구성을 선택할 때 개발자는 가속기 유형 (accelerator type), GPU 개수, 그리고 결정적으로 최적화 프로필 (optimization profile)을 선택할 수 있습니다.

• 지연 시간 프로필 (Latency Profiles): 빠른 응답 시간을 우선시하며, 대화형 애플리케이션 및 실시간 서비스에 이상적입니다.
• 처리량 프로필 (Throughput Profiles): 토큰 출력을 최대화하도록 설계되었으며, 배치 처리 (batch processing) 및 대규모 데이터 작업에 필수적입니다.
• 균형 잡힌 프로필 (Balanced Profiles): 낮은 지연 시간과 높은 처리량의 조화가 필요한 혼합 워크로드에 적합한 다목적 기본 설정을 제공합니다.

설정의 불변성 (Immutability)은 핵심적인 기능으로, 배포의 동작이 일관되게 유지되도록 보장합니다. 이러한 안정성은 신뢰할 수 있는 AI 모델 서빙 (Model Serving)을 위해 매우 중요합니다.

실세계 검증 및 성능 통찰 (Performance Insights)

Together AI는 실제 실험을 통해 용량 인식 라우팅 (Capacity-Aware Routing)의 효과를 입증했습니다. 한 테스트에서 두 개의 단일 H100 배포가 동일한 가중치와 각각 하나의 레플리카 (Replica)로 구성되어 50/50의 트래픽 분할을 생성했습니다. 이후 하나의 배포가 두 개의 레플리카로 확장되었을 때, 트래픽 분할은 증가된 용량을 정확히 반영하여 약 66.7/33.3으로 동적으로 조정되었습니다. 이러한 실세계 시나리오는 가용 리소스에 따라 부하를 동적으로 관리하는 시스템의 능력을 검증합니다.

나아가, 이 회사는 다양한 동시성 (Concurrency) 수준에서 서로 다른 최적화 프로필 (Optimization Profiles)을 비교하며 MiniMax M3 추론 (Inference)과 같은 모델에 대한 성능 벤치마크를 제시했습니다. 이러한 벤치마크는 낮은 동시성에서 뛰어난 프로필이 더 높은 부하 상황에서는 성능이 크게 저하될 수 있음을 강조합니다. 이는 추론 설정을 특정 트래픽 패턴 및 워크로드에 맞게 조정하는 것이 매우 중요하다는 점을 시사하며, Together AI의 플랫폼은 바로 이러한 기능을 용이하게 하도록 설계되었습니다.

Together AI 전용 모델 추론 (Dedicated Model Inference)의 미션은 고급 AI 추론 능력에 대한 접근을 민주화하는 것입니다. 개발자는 몇 가지 간단한 명령만으로 모델을 배포하고, 엔드포인트 (Endpoint)를 구성하며, 트래픽 서빙을 시작할 수 있으며, 광범위한 운영 오버헤드 (Operational Overhead)의 부담 없이 정교한 인프라를 활용할 수 있습니다. 이러한 사용 편의성, 지능형 라우팅, 그리고 강력한 스케일링 (Scaling) 메커니즘의 결합은 Together AI를 AI 모델을 대규모로 효율적이고 효과적으로 배포하기 위한 선도적인 솔루션으로 자리매김하게 합니다. 모델 배포를 함께 개선해 나가는 이러한 정교한 접근 방식은 AI 생태계에 상당한 영향을 미칠 것입니다.

까다로운 AI 작업을 위한 확장 가능한 솔루션에 관심이 있는 분들에게는, Databricks와 같은 플랫폼이 databricks scales real-time fraud detection을 통해 견고한 AI 인프라에 대한 귀중한 맥락을 제공한다는 점을 이해하는 것이 도움이 됩니다.

tags: ai, machine learning, model deployment, inference, capacity-aware routing, cloud computing, technology, startuphub.ai