Vercel 기반의 Okara

• Vercel의 멀티 프로바이더 (multi-provider) AI 스택을 통해 매일 40억 개의 토큰(tokens) 처리

• 120,000개 이상의 비즈니스의 성장을 능동적으로 관리하는 AI CMOs

• SEO, GEO, 소셜, 콘텐츠, Reddit, Hacker News를 처리하는 8개의 서브 에이전트 (sub-agents)

• 새로운 AI 모델이 출시된 당일에 사용자에게 즉시 제공

---

---

Okara는 창업자들이 직접 마케팅을 할 필요가 없도록 전문화된 서브 에이전트 팀을 지휘하는 AI CMO입니다. Okara에 웹사이트 URL을 제공하면, AI CMO가 마케팅 전략을 구축하고, 브랜드 보이스 (brand voice)를 개발하며, SEO, 콘텐츠, 소셜 미디어 전반에 걸쳐 에이전트를 활성화하여 단 한 명의 마케팅 인력 채용 없이도 인지도와 파이프라인 (pipeline)을 창출합니다.

Okara의 창업자인 Fatima Rizwan은 다음과 같이 말합니다: "주말 동안 무언가를 만들 수는 있지만, 누군가 그것을 알아차리게 만드는 데는 몇 달을 소비할 수도 있습니다." 그녀는 배포 (Distribution) 방식이 AI 이전 시대에 머물러 있다고 주장합니다. 즉, 단 1달러의 수익이 돌아오기도 전에 매달 15,000달러 이상의 비용이 드는 구독 서비스와 대행사들로 파편화되어 있다는 것입니다.

Okara는 4명의 팀원이 구축하였으며 하루에 40억 개의 토큰을 처리합니다. 이 회사는 스타트업의 새로운 모델, 즉 소규모 팀이 수천 개의 다른 기업의 성장을 처리하는 플랫폼을 구축하는 방식으로 운영됩니다. Fatima는 4명의 인원으로 수십만 개의 기업에 서비스를 제공하려면 인프라 (infrastructure)가 보이지 않아야 한다는 점을 빠르게 깨달았습니다. 인프라에 소비되는 모든 시간은 제품 구축에 쓰이지 못하는 시간이었기 때문입니다.

Okara의 백엔드 (backend)는 원래 별도의 SDK를 통해 8개의 모델 프로바이더 (model providers)와 통신했으며, 각 SDK는 고유한 키 관리 (key management), 이미지 처리 및 예외 상황 (edge cases)을 가지고 있었습니다. 오픈 소스 모델 (open-source models)로 확장했을 때, 이 방식은 완전히 무너졌습니다. 새로운 모델이 추가될 때마다 엔지니어는 제품 출시를 멈추고 어댑터 (adapter)를 작성해야 했습니다. 재시도 로직 (retry logic), 폴백 라우팅 (fallback routing), 프로바이더 상태 모니터링 (provider health monitoring) 모두가 Okara의 코드베이스에 수동으로 유지 관리되고 있었습니다.

대부분의 AI 인프라는 Okara가 그러한 마찰을 안고 계속 살아가도록 만들었을 것입니다. 그것이 바로 그들이 Vercel AI Gateway로 전환한 이유입니다.

모든 커스텀 통합(custom integration)을 단일 설정으로 대체했습니다. 재시도 로직(Retry logic)과 폴백 처리(fallback handling)는 Okara의 코드베이스에서 완전히 벗어나 Vercel의 라우팅 계층(routing layer)으로 이동했으며, 여기에는 Okara의 개인정보 보호에 민감한 보안 채팅을 위한 데이터 미보관(zero-data retention) 지원도 포함됩니다. AI Gateway

새로운 모델이 출시되는 날, Okara 팀은 Gateway를 통해 사용자에게 즉시 해당 모델을 제공할 수 있습니다. 어댑터도, 예외 케이스 테스트도, 배포 주기(deploy cycle)도 필요하지 않습니다.

Okara의 SEO 에이전트는 문제를 스캔하고 이를 해결하는 코드를 작성할 수 있습니다. 에이전트가 사용자의 사이트에서 기술적 문제를 발견하면, Vercel Sandbox를 실행하여 격리된 환경에서 분석을 수행합니다. 분석 결과는 코딩 에이전트에게 전달되며, 이 에이전트는 수정 사항이 담긴 풀 리퀘스트(pull request)를 생성하여 개발자가 검토하고 병합(merge)할 수 있도록 준비합니다. 탐지, 분석, 코드 변경에 이르기까지 전체 루프가 자동으로 실행되며, 실제 서비스에 적용되기 전 최종 결정은 사람이 내립니다.

Okara는 Vercel Sandbox가 출시된 당일에 바로 도입했습니다. Rizwan은 X에서 발표를 확인했고, 팀은 즉시 구축을 시작했습니다.

현재 120,000개의 웹사이트가 Okara의 AI CMO를 사용하고 있습니다. 팀은 하루에 6~7번 프로덕션(production)에 배포하며, 모든 개선 사항은 배포 당일 고객에게 적용됩니다. Okara를 사용하는 1인 창업자는 인력을 늘리거나 월 15,000달러의 에이전시 비용을 지불하지 않고도, 자신보다 10배 큰 규모의 팀과 동일한 배포 역량을 갖게 됩니다.

Okara는 에이전트 제품군을 확장하고 더 큰 규모의 팀을 지원하기 위해 업마켓(upmarket)으로 이동하고 있습니다. 제품이 성장함에 따라 인프라 수요도 함께 증가합니다. 더 많은 사용자, 더 많은 에이전트, 더 많은 토큰(token)이 필요합니다. 4명의 인원이 120,000개 기업의 성장을 관리할 때는 인프라가 주의를 분산시키는 요소가 되어서는 안 됩니다. Vercel과 함께라면 그렇지 않습니다.

Okara는 창업자와 소규모 팀을 위해 SEO, 콘텐츠, 소셜 미디어를 처리하는 전문 서브 에이전트(sub-agents) 팀을 지휘하는 AI CMO입니다. 웹사이트에 연결하여 브랜드 보이스를 개발하고, 마케팅 인력 채용 없이 8개 채널에 걸쳐 배포를 관리합니다.

Okara 소개: Okara

더 읽어보기

AI Gateway를 사용하여 하나의 API 키로 여러 제공업체 통합하기

Vercel Sandboxes에서 에이전트 워크플로 (agent workflows) 실행하기

다음 단계

개별 제공업체 SDK를 관리할 때 발생하는 마찰

하나의 엔드포인트 (endpoint), 모든 제공업체