Cursor는 팀과 기업을 위해 설계된 지능형 모델 라우팅 (model-routing) 시스템인 Cursor Router를 출시했습니다.

// Detect dark theme var iframe = document.getElementById('tweet-2079993729532989500-26'); if (document.body.className.includes('dark-theme')) { iframe.src = "https://platform.twitter.com/embed/Tweet.html?id=2079993729532989500&theme=dark" }

겉보기에는 익숙하게 들립니다. 요청을 검사하고, 난이도를 결정한 다음, 품질과 비용 사이에서 최적의 균형을 제공하는 모델로 전송하는 방식입니다.

이는 이미 OpenRouter, Not Diamond, Portkey, Martian, 그리고 Amazon Bedrock Intelligent Prompt Routing과 같은 제품들이 내세우는 핵심 약속입니다.

하지만 Cursor의 이 시장 진입은 한 가지 중요한 면에서 다릅니다. Cursor는 워크플로 (workflow) 외부에서 작동하지 않습니다.

Cursor는 요청이 생성되고, 처리되며, 평가되고, 결과가 유용할 경우 코드베이스 (codebase)에 수락되는 코딩 환경 자체를 소유하고 있습니다.

Cursor가 문자 그대로 모델 라우팅 산업을 죽인 것은 아닙니다. 하지만 AI 지원 소프트웨어 개발을 위한 독립적인 제품으로서 단독 모델 라우팅을 판매하는 것을 훨씬 더 어렵게 만들었을 수는 있습니다.

AI 모델 라우터 (AI Model Router)란 무엇인가?

Model Router

서로 다른 AI 모델들은 각기 다른 작업에 능숙합니다. 복잡한 아키텍처 변경에는 프론티어 추론 모델 (frontier reasoning model)이 필요할 수 있는 반면, 더 작고 저렴한 모델은 변수 이름을 바꾸거나, 함수를 설명하거나, 일상적인 보일러플레이트 (boilerplate)를 생성하는 작업을 쉽게 수행할 수 있습니다.

라우팅 (routing)이 없다면, 사용자들은 종종 하나의 강력한 모델을 선택하여 모든 작업에 사용합니다. 이는 단순하지만 비효율적입니다. 덜 비싼 모델로도 똑같이 유용한 결과를 낼 수 있는 쉬운 작업조차 프론티어 모델의 가격으로 처리되기 때문입니다.

모델 라우터 (Model router)는 사용자와 여러 모델의 집합 사이에 위치합니다. 이는 각 요청을 분석하여 어디로 보낼지를 결정합니다. 플랫폼에 따라 해당 결정에는 다음과 같은 요소들이 고려될 수 있습니다:

• 작업 유형 및 복잡도 (Task type and complexity)
• 기대되는 응답 품질 (Expected response quality)
• 비용 및 지연 시간 (Cost and latency)
• 모델 가용성 (Model availability)
• 제공업체 신뢰성 (Provider reliability)
• 컨텍스트 윈도우 (Context-window) 요구사항
• 보안 및 데이터 보관 정책 (Security and data-retention policies)

기본적인 제안은 매우 매력적입니다. 즉, 실제로 필요할 때만 비싼 지능을 사용한다는 것입니다.

Cursor 라우터의 작동 방식

Image

Cursor에 따르면, 개발자의 약 60%가 단일 모델을 일상적인 주력 모델 (daily driver)로 선택합니다. Cursor 라우터는 AI 모델이 작업을 시작하기 전에 모든 요청을 분류함으로써 이러한 습관을 제거하려고 시도합니다.

라우터는 쿼리, 사용 가능한 컨텍스트 (context), 작업 복잡도 및 도메인을 분석합니다. 이러한 신호들을 실제 코딩 작업에서 개별 모델이 어떻게 동작하는지에 대한 Cursor의 지식과 결합합니다. 그런 다음 요청은 해당 작업에 가장 적합하다고 판단되는 모델로 전송됩니다.

Cursor는 세 가지 라우팅 모드를 제공합니다:

1. Intelligence (지능): 프론티어 (frontier) 수준의 성능을 우선시합니다.
2. Balance (균형): 더 실용적인 비용으로 강력한 품질을 목표로 합니다.
3. Cost (비용): 토큰 소비를 최소화하면서 가장 유용한 지능을 추구합니다.

관리자는 어떤 모드를 사용할 수 있는지 제어할 수 있고, 팀 전체에 라우터를 어떻게 배포할지 결정할 수 있으며, 특정 모델을 허용하거나 차단할 수 있습니다.

Cursor는 60만 개 이상의 라이브 요청을 사용하여 라우터를 학습시켰으며, 수백만 개의 추가 요청을 포함하는 온라인 A/B 테스트를 통해 이를 평가했다고 밝혔습니다.

얼리 액세스 (early access) 기간 동안, 참여 기업들은 프론티어 수준의 성능을 약 30~50% 더 낮은 비용으로 달성한 것으로 보고되었습니다. 또한 Cursor는 더 광범위한 온라인 테스트를 통해 약 60%의 비용 절감과 함께 프론티어 품질의 결과를 얻었다고 보고했습니다.

Image

이것은 Cursor 자체의 결과이며, 서로 다른 조직과 워크로드(workloads)에 걸쳐 독립적으로 검증되어야 합니다. 그럼에도 불구하고, 학습 데이터의 규모와 유형은 이번 출시가 왜 중요한지를 보여줍니다.

Cursor의 진짜 강점은 분류기(Classifier)가 아니다

모델 선택 알고리즘은 Cursor Router가 가진 우위의 일부일 뿐입니다. 더 중요한 자산은 개발 워크플로(development workflow) 내에서의 Cursor의 위치입니다.

범용 라우터(general-purpose router)는 프롬프트(prompt)와 아마도 일부 애플리케이션 메타데이터(metadata)를 볼 수 있습니다. 하지만 Cursor는 훨씬 더 풍부한 일련의 이벤트로부터 잠재적으로 학습할 수 있습니다:

• 개발자가 무엇을 요청했는가
• 요청을 둘러싼 코드와 프로젝트 컨텍스트(context)는 무엇인가
• 어떤 모델이 응답을 생성했는가
• 개발자가 결과를 수락했는가 아니면 거부했는가
• 생성된 코드 중 얼마만큼이 이후의 편집 과정에서 살아남았는가
• 특정 코딩 작업에 어떤 모델이 가장 성능이 좋은가

이는 강력한 피드백 루프(feedback loop)를 생성합니다. Cursor는 매주 수억 건의 코딩 요청을 라우팅하며, 실제 개발자의 만족도와 밀접하게 연결된 신호들을 관찰할 수 있습니다. 벤치마크(benchmarks)나 합성 평가(synthetic evaluations)만을 위해 최적화하는 대신, 실제 프로덕션 코딩 워크플로(production coding workflows)에서 얻은 증거를 사용하여 최적화할 수 있습니다.

그러한 배포 우위(distribution advantage)는 외부 라우터가 재현하기 어렵습니다. Cursor는 인터페이스(interface), 컨텍스트(context), 그리고 결과 신호(outcome signal)를 모두 소유하고 있습니다.

기존 라우터 시장

Cursor는 점점 더 혼잡해지는 카테고리에 진입하고 있습니다.

OpenRouter

Image

OpenRouter는 수많은 추론 제공업체(inference providers)에 걸쳐 수백 개의 모델에 접근할 수 있는 통합 API를 제공합니다. 이 서비스의 Auto Router는 각 프롬프트에 적합한 모델을 자동으로 선택하며, Not Diamond의 기술로 구동됩니다. OpenRouter는 또한 제공업체 선택, 가격 선호도 및 폴백(fallbacks) 기능도 처리합니다.

OpenRouter의 가치는 단순히 모델 분류를 훨씬 뛰어넘습니다. 범용 AI 애플리케이션을 구축하는 개발자들에게 하나의 API 키, 광범위한 모델 접근성, 제공업체 중복성(provider redundancy), 그리고 표준화된 요청 처리(standardized request handling)는 여전히 중요한 인프라적 이점입니다.

Not Diamond

Not Diamond는 지능형 모델 라우팅(model routing) 및 프롬프트 최적화(prompt optimization)를 전문으로 합니다. 개발자는 사전 학습된 라우터(pre-trained router)를 사용하거나, 자신의 애플리케이션 데이터를 사용하여 커스텀 라우터를 학습시킬 수 있습니다. 이를 통해 코딩뿐만 아니라 고객 지원, 문서 처리, 연구, 영업 및 기타 워크로드에도 적용할 수 있습니다.

Not Diamond는 OpenRouter의 Auto Router를 구동하기도 하는데, 이는 전문화된 라우팅 기술이 단독 서비스로만 판매되는 것이 아니라 더 큰 플랫폼을 통해 배포될 수 있음을 보여줍니다.

Portkey

Portkey는 라우팅을 더 넓은 범위의 AI 게이트웨이(AI gateway) 내의 하나의 기능으로 포지셔닝합니다. 이 플랫폼에는 조건부 라우팅(conditional routing), 폴백(fallbacks), 재시도(retries), 부하 분산(load balancing), 캐싱(caching), 가드레일(guardrails), 예산 제어(budget controls) 및 관찰 가능성(observability)이 포함되어 있습니다.

이러한 운영 기능들은 Cursor Router가 주로 해결하도록 설계되지 않은 문제들을 해결합니다. 여러 개의 프로덕션 AI 애플리케이션을 운영하는 기업은 개발자가 어떤 에디터를 사용하는지와 관계없이, 모든 애플리케이션에 걸친 중앙 집중식 거버넌스(governance)와 신뢰성(reliability)이 필요할 수 있습니다.

Amazon Bedrock

Amazon Bedrock Intelligent Prompt Routing은 동일한 모델 제품군 내에서 지원되는 모델 간에 프롬프트(prompt)를 동적으로 라우팅(routing)합니다. 이는 응답 품질을 예측하고 최적의 품질 및 비용 조합을 선택하려고 시도합니다. 따라서 이미 AWS를 사용 중인 조직에게 라우팅은 또 다른 외부 서비스가 아닌 네이티브 클라우드 기능이 될 수 있습니다.

이는 더 광범위한 트렌드를 강조합니다. 모델 라우팅(model routing)이 추론(inference), 애플리케이션 인프라 또는 사용자 워크플로우를 이미 점유하고 있는 플랫폼들로 흡수되고 있다는 점입니다.

Cursor가 라우터 기업들을 몰락시켰을까?

꼭 그렇지는 않습니다.

Cursor Router는 소프트웨어 개발에 최적화되어 있으며, 현재 Cursor의 데스크톱, 웹, iOS, CLI 및 SDK 경험을 통해 팀(Teams) 및 엔터프라이즈(Enterprise) 고객에게 제공됩니다. 이는 여러 애플리케이션과 부서에 걸쳐 많은 모델을 운영하는 기업을 위한 범용 AI 게이트웨이(AI gateway)를 대체하지는 않습니다.

독립적인 라우팅 플랫폼들은 다음과 같은 기능들을 통해 계속해서 경쟁할 수 있습니다:

• 코딩 이외의 워크로드(workloads)를 위한 라우팅
• 커스텀 평가 데이터 및 애플리케이션 특화 라우터
• 사용자의 자체 제공자 키 사용 (Bring-your-own-provider keys)
• 제공자 간 장애 조치(failover) 및 부하 분산(load balancing)
• 중앙 집중식 보안 및 컴플라이언스(compliance) 제어
• 여러 애플리케이션에 걸친 비용 추적
• 가드레일(guardrails), 캐싱(caching), 속도 제한(rate limits) 및 관찰 가능성(observability)
• 셀프 호스팅(self-hosted) 또는 클라우드 중립적(cloud-neutral) 배포

Cursor가 위협하고 있는 것은 라우터 기업들의 핵심 제안(pitch) 중 가장 협소한 버전입니다: 우리가 당신의 코딩 프롬프트(prompt)를 검사하여 그에 가장 적합한 모델을 선택해 주겠다.

이러한 기능이 코딩 제품 내에 직접 구축되고, 해당 코딩 제품만이 독점적으로 보유한 피드백을 사용하여 학습된다면, 개발자와 모델 사이에 또 다른 서비스를 두는 것을 정당화하기 어려워집니다.

라우팅(Routing)은 플랫폼 기능이 되어가고 있다

소프트웨어 인프라의 역사는 결국 네이티브 플랫폼 기능(native platform features)으로 흡수된 독립형 제품들로 가득 차 있습니다. 로깅(Logging), 인증(authentication), 분석(analytics), 배포(deployment), 그리고 모니터링(monitoring) 모두 이러한 패턴의 변형을 따랐습니다. 새로운 기술적 요구사항은 먼저 특화된 시장을 형성합니다. 그 후, 더 큰 플랫폼들이 솔루션의 가장 보편적인 부분들을 흡수합니다.

AI 모델 라우팅(AI model routing) 역시 그 단계에 진입하고 있는 것으로 보입니다.

OpenRouter는 멀티 모델 게이트웨이(multi-model gateway)에 자동 선택 기능을 통합했습니다. Amazon은 Bedrock에 라우팅 기능을 추가했습니다. Portkey는 운영용 AI 게이트웨이(operational AI gateway) 내에 이를 포함시켰습니다. Cursor는 이제 AI 코딩 환경에 이를 직접 내장하고 있습니다.

이것이 라우팅 기술의 가치가 없다는 뜻은 아닙니다. 가치의 중심이 이동하고 있다는 의미입니다. 저렴한 모델과 비싼 모델 사이를 선택하는 기본적인 분류기(classifier)만으로는 더 이상 기업 전체를 지원하기에 충분하지 않을 수 있습니다. 성공적인 라우터 비즈니스는 플랫폼이 쉽게 복제할 수 없는 독점적인 결과 데이터(proprietary outcome data), 특화된 워크플로(workflows), 맞춤형 최적화(custom optimization), 거버넌스(governance), 또는 인프라를 필요로 할 것입니다.

이것이 AI 개발에 의미하는 바