Mercor가 단일 플랫폼에서 내부 애플리케이션 및 수십억 개 프로덕션 토큰을 처리하는 방법

Vercel에서의 Mercor

• 배치 작업 시간을 12시간에서 2시간으로 단축

• 10일 동안 AI Gateway를 통해 1,800만 건의 요청과 630억 개의 토큰 처리

• Vercel Passport를 통해 전문가 접근 권한을 몇 초 만에 제공

• 수백 명의 내부 빌더가 만든 2,000개 이상의 프로젝트

---

Mercor는 수십만 명의 도메인 전문가들을 최첨단 AI 연구소와 연결하여, 해당 연구소들이 선도적인 모델을 학습하고 평가하는 데 필요한 인간 데이터를 생성할 수 있도록 지원합니다. 또한 연구소 및 기업을 위해 모델을 평가하기 위한 대규모 자동 채점 작업을 실행합니다.Mercor

수요는 폭발적으로 발생하여, 개별적인 평가 또는 라벨링 작업이 24시간 마감 기한을 가지고 있음에도 불구하고 모델 트래픽을 며칠 동안 피크 용량까지 밀어 올릴 수 있습니다. 전달할 시간이 매우 부족하기 때문에, 제공업체의 속도 제한(rate limits)에 따라 대기하는 요청은 고객의 마감 기한을 위험에 빠뜨릴 수 있습니다.

Mercor의 비즈니스 팀들 역시 각 참여 활동에 맞춰진 애플리케이션이 필요하며, 이를 통해 전문가들은 핵심 플랫폼의 변경을 기다리지 않고도 자신의 작업과 진행 상황을 확인할 수 있습니다.

Mercor의 보안 책임자(Head of Security)인 Aaron Brown에게 있어, 더 많은 사람이 구축할 수 있게 한다는 것은 그들에게 필요한 접근 권한을 제공하고 그것이 어떻게 사용되는지 추적하는 것을 더 쉽게 만든다는 의미입니다. Mercor는 모델 접근을 관리하고 애플리케이션에 대한 안전한 접근을 처리하기 위해 Vercel AI Gateway와 Vercel Passport를 사용합니다.

Mercor의 직접 통합과 서드파티 게이트웨이 조합으로는 수요가 급증했을 때 개방형 모델 워크로드에 필요한 충분한 토큰-분당 용량을 제공할 수 없었습니다. 요청이 제공업체 제한에 도달하고 재시도 큐(retry queues)로 들어가면서, 시간 민감도가 높은 배치 작업은 12시간 이상 늘어나 고객의 24시간 마감 기한 중 절반 이상을 소모하게 만들었습니다.

요청이 속도 제한(rate limits)에 도달했을 때 제공업체 간의 장애 조치 라우팅(failover routing) 및 더 많은 추론 용량(inference capacity)을 제공하여, 배치 작업(batch work)이 재시도 대기열에서 기다리는 대신 계속 진행되도록 했습니다. Mercor는 해당 작업을 이제 2~3시간 만에 완료할 수 있어 고객의 나머지 작업을 완료할 시간이 더 많이 생겼다고 보고합니다. Gateway를 사용한 첫 10일 동안, 팀은 속도 제한에 도달하지 않으면서 1,800만 건의 요청과 630억 개의 토큰을 라우팅했습니다.AI Gateway

Mercor는 여전히 여러 게이트웨이와 공급업체를 사용하고 있으며, 팀이 더 많은 용량이 필요할 때 모델 접근성(model access), 제어 기능(controls), 그리고 실질적인 지원(hands-on support)을 결합한 Vercel의 가치를 높게 평가합니다. 엔지니어들은 또한 주요 기반 모델 제공업체(foundation model providers)를 위한 단일 API와 증가하는 오픈 모델 카탈로그를 얻기 때문에, 다른 공급업체 통합을 구축할 필요 없이 새로운 모델을 시도할 수 있습니다.

모델 사용이 증가함에 따라 Mercor는 토큰 지출(token spend)이 어디로 가고 있는지 이해해야 했지만, 이전 설정으로는 팀과 프로젝트별 사용량에 대한 가시성(visibility)을 거의 제공하지 못했습니다. 스크립트의 단일 루프 오류만으로도 사용 가능한 예산을 모두 소진할 수 있었습니다.

수백 명의 Mercor 엔지니어들은 이제 만료일(expiration dates), 토큰 제한(token limits), 지출 제한(spend limits)이 포함된 사용자별 키(per-user keys)를 통해 AI Gateway로 오픈 모델을 사용합니다. 보안팀은 실험에 예산과 종료 날짜를 부여할 수 있으며, 이후 사용 기록을 활용하여 어떤 사용자, 프로젝트, 워크로드(workload)가 소비를 주도하고 있는지 확인할 수 있습니다. 엔지니어들은 매번 다른 공급업체 자격 증명(provider credentials) 세트를 관리할 필요 없이 동일한 게이트웨이를 통해 해당 제어 하에 다양한 모델을 시도할 수 있습니다.

Mercor의 여러 비즈니스 팀에 걸쳐 수백 명의 사람들이 이제 Vercel에서 애플리케이션을 구축하고 있으며, 이로 인해 회사의 프로젝트 수는 12개 미만에서 약 2,000개로 증가했습니다. 그중 많은 프로젝트는 특정 고객 참여(client engagement)를 위한 임시 환경입니다.

하나의 프로덕션 사용 사례는 전문가들에게 프로젝트 작업과 진행 상황에 대한 상세한 보기(view)를 제공합니다. 엔지니어링 팀에게 모든 참여(engagement)의 인터페이스를 핵심 플랫폼에 추가해달라고 요청하는 대신, 비즈니스 팀이 직접 인터페이스를 구축하고 실제로 작업을 수행하는 전문가들과 공유합니다.

이러한 애플리케이션을 공유하려면, 팀은 모든 프로젝트마다 별도의 인증(authentication) 설정을 할 필요 없이 누가 로그인할 수 있는지 제어해야 합니다. Passport는 기존의 ID 공급자(identity provider)를 통해 Vercel 배포판에 대한 로그인을 처리하는 공통 인증 계층(common authentication layer)을 제공합니다.

Mercor의 ID 팀은 접근 프로비저닝(access provisioning)을 자동화하기 위해 Vercel Passport를 일급 원시 요소(first class primitive)로 통합한 Audiences라는 제품을 구축했습니다. 팀이 접근 권한이 필요한 전문가들을 선택하면, Audiences는 IdP 그룹, Vercel 연결 및 Passport 구성을 생성합니다. 이 워크플로우를 통해 Mercor는 수십 명의 전문가부터 수만 명에 이르기까지 다양한 규모의 사용자들에게 몇 초 만에 접근 권한을 프로비저닝하는 것이 가능하다고 보고합니다. 퇴사(Offboarding) 과정도 역방향으로 동일하게 작동합니다. 접근 권한이 IdP 그룹에서 파생되기 때문에, 참여가 끝날 때 해당 그룹을 제거하면 프로젝트에 대한 접근 권한이 사라지므로 오래된 접근 정보(stale access)가 남지 않습니다.

이러한 애플리케이션 외에도, Mercor는 에이전트(agents)를 사용하여 마켓플레이스에서 전문가들의 질문에 답하고, HR 워크플로우를 자동화하며, 직원들이 내부 시스템을 탐색하도록 돕습니다. Mercor의 접근 방식은 호출한 사람에게 사용 가능한 모든 권한을 주는 것이 아니라, 각 에이전트가 자신의 작업에 적합한 제한적인(narrow) 권한을 부여하는 것입니다.

AI Gateway를 통해 오픈 모델(open models)을 사용하는 에이전트의 경우, Mercor는 또한 모델 접근 범위를 지정하고(scope model access), 만료 날짜를 설정하며, 지출액에 상한선을 둘 수 있습니다. 이는 모델 사용을 통제하는 것이며, Mercor가 별도로 각 에이전트가 어떤 시스템과 작업을 접근할 수 있는지 결정합니다.

Mercor는 내부 에이전트와 시스템에 더 많은 오픈 모델을 활용하고, 엔지니어링 팀 외의 더 많은 팀들이 전문가를 위한 도구를 구축할 것으로 예상합니다. 이러한 작업이 증가함에 따라, 회사는 팀들이 클라이언트 워크로드에 촉박한 마감 기한으로 대응하는 데 집중할 수 있도록, 모델 통합 및 애플리케이션 인증 설정에 쓰는 시간을 줄이고자 합니다.

목표는 보안 경로를 가장 빠른 경로로 만드는 것입니다. 공유 모델 접근과 반복 가능한 인증 워크플로우가 전문가들이 필요한 도구를 얻고 연구실이 제때 작업을 완료하는 데 도움을 줍니다. Mercor는 보안 작업량이 같은 속도로 증가하지 않으면서 이러한 성장을 지원하기를 원합니다.

Mercor 소개: AI 학습 및 평가를 위해 인간 지능을 체계화하는 AI 데이터 회사입니다. 의사부터 변호사, 엔지니어에 이르기까지 500만 명 이상의 전문가 네트워크가 벤치마크, 기업 평가(enterprise evals), 강화학습 (RL) 환경, 사후 학습 및 에이전트 배포를 구동합니다.**Mercor

더 읽기

모델 용량이 고객의 마감 기한이 될 때

제한된 범위 내에서 엔지니어가 실험할 수 있는 여유 제공하기

비즈니스 팀들이 구축함에 따라 접근 관리하기

각 에이전트가 할 수 있는 것을 제한하기

다음은 무엇인가