모든 AI 제품이 맞닥뜨리는 특정한 순간이 있습니다. 기능은 잘 작동하고 사람들은 좋아하지만, 제공업체(provider)의 결제 페이지를 열어보면 가장 활발하게 참여하는 사용자가 수익성은 가장 낮다는 사실을 깨닫게 되는 순간입니다. 다른 모든 종류의 소프트웨어는 참여(engagement)에 보상을 줍니다. 하지만 추론 (Inference)은 참여에 벌을 줍니다. 비용은 사용량에 따라 증가하는 반면, 수익은 사용자 수(seats)에 따라 증가하며, 이 두 선은 결코 같은 방향을 유지할 수 없었습니다.

팀들은 보통 세 가지 탈출구 중 하나를 찾지만, 세 가지 모두 동일한 결함을 가지고 있습니다.

가격을 인상합니다. 이제 일주일에 몇 번의 프롬프트(prompt)만 실행하는 중간값(median) 사용자가 하루 종일 에이전트 루프(agent loop)를 실행하는 p95 사용자를 보조하게 됩니다. 중간값 사용자는 결국 자신이 과다 지불하고 있다는 사실을 알아차리고 이탈(churn)하게 되며, 이는 수학적 계산을 더 악화시키고, 결국 가격을 다시 인상해야 한다는 결론으로 이어집니다.

크레딧을 판매합니다. 종량제 결제(Metered billing)는 정직하지만, 이제 당신은 토큰 리셀러(token reseller)가 됩니다. 사용자들은 마진(markup)을 확인할 수 있고, 당신을 제공업체의 정가와 비교하며, 왜 동일한 토큰에 대해 당신에게 3배를 지불해야 하는지 묻게 됩니다. 또한 당신은 그 자체로 하나의 제품인 결제 엔진(billing engine)을 구축하기로 서약한 셈이 됩니다.

속도 제한 (Rate limits). 가장 저렴한 옵션이자 가장 비싼 옵션입니다. 제한에 걸리는 사용자들은 정의상 당신의 파워 유저(power users)입니다. 장벽을 세우는 것은 그들을 다른 누군가의 파워 유저로 전환시키는 방법입니다.

네 번째 옵션

네 번째 옵션은 청구서(bill)를 소유하는 것을 중단하는 것입니다.

당신의 사용자는 이미 AI 비용을 지불하고 있을 가능성이 매우 높습니다. 그들은 ChatGPT Plus 또는 Claude Pro 구독을 가지고 있거나, 크레딧이 충전된 API 키를 가지고 있습니다. 현재 그 지출과 당신의 인프라 비용은 두 개의 분리된 세계이며, 당신은 그 사이의 다리를 당신의 마진(margin)에서 조달하여 자금을 지원하고 있습니다.

BYOK (bring your own key)는 이 두 가지를 하나로 합칩니다. 사용자가 자신의 계정이나 키를 당신의 앱에 연결합니다. 그들의 사용량은 당신의 것이 아닌, 그들의 자격 증명(credential)을 통해 실행되며 그들의 구독이나 크레딧에서 차감됩니다. 해당 사용자에 대한 당신의 추론 (inference) 비용은 거의 제로(zero)에 수렴하며, 한계 요청(marginal request)에 대한 비용을 당신이 부담할 필요가 없기 때문에

이것은 일부에서만 나타나는 예외적인 패턴이 아닙니다. 개발자 도구들은 이미 수년 전에 이를 표준화했습니다. 아무도 자신의 CI 제공업체가 자신의 AWS 비용을 대신 지불해 줄 것이라고 기대하지 않습니다. AI는 제품들이 여전히 컴퓨팅 비용을 묶어서 제공(bundling)하는 기본 설정(default)을 유지하는 유일한 분야인데, 이는 주로 첫 번째 AI 앱들이 사람들이 유료 구독을 시작하기도 전에 출시되었기 때문입니다.

그렇다면 왜 모두가 그렇게 하지 않을까요

표준적인 구현 방식이 "OpenAI 키를 붙여넣으세요"라고 말하는 <input type="password"> 형태이기 때문이며, 이 입력창은 검토되지 않은 수많은 작업을 수행하고 있습니다.

사용자 측면에서 보면: 그들은 만난 지 20분밖에 되지 않은 웹사이트에, 그것이 어떻게 저장되는지, 권한 범위(scoping)는 어떠한지, 그리고 제공업체에서 키를 교체하는 것 외에는 취소(revoke) 버튼이 없는 상태에서, 즉시 사용 가능한 지불 자격 증명(credential)을 넘겨주고 있는 것입니다.

귀하의 측면에서 보면: 귀하는 이제 타인의 결제 자격 증명을 보관(warehousing)하고 있는 셈입니다. 잘못 저장된다면 그것은 보안 침해(breach) 뉴스 헤드라인이 될 것입니다. 잘 저장한다면 그것은 암호화(encryption), 키 관리(key management), 레드액션(redaction), 로테이션(rotation), 취소(revocation), 사용자별 사용량 귀속(per-user usage attribution)과 같은 실제 엔지니어링 작업입니다. 그리고 다음 제공업체를 위해서도 이 작업을 다시 수행해야 합니다. 왜냐하면 그들의 키 형식과 인증(auth) 특성이 다르기 때문입니다.

이러한 작업 중 어느 것도 귀하의 제품(product)이 아닙니다. 이것은 모든 BYOK(Bring Your Own Key) 앱이 별도로 재구축해야 하는, 하중을 견디는 배관(load-bearing plumbing) 작업이며, 대개 60% 정도의 완성도로 이루어집니다. 저는 지난 한 달 동안 유지 관리자들이 자신의 BYOK 구현을 '부채(liability)'라고 표현하는 GitHub 이슈들을 읽으며 시간을 보냈습니다.

제대로 된 BYOK란 어떤 모습인가

사용자들은 이미 제3자에게 계정 액세스 권한을 위임하는 단 하나의 흐름, 즉 OAuth를 정확히 알고 있습니다. 연결 버튼, 앱이 무엇을 가져가는지 명시하는 동의 화면, 한 곳에서 취소하기, 그러면 끝입니다. "Google로 로그인"과 Stripe Connect가 모두를 교육시켰습니다.

BYOK도 이와 동일하게 느껴져야 합니다. GPT 연결. Claude 연결. "사용량이 귀하의 구독에서 차감됩니다"라고 명시하는 동의 페이지, 허용(Allow) 버튼, 그리고 즉시 작동하는 취소(revoke) 스위치. 앱에 원시 키(raw key)가 절대 노출되지 않으므로, 앱이 유출할 수 있는 정보도 없습니다.

제 이해관계에 대해 솔직히 말씀드리자면: 이것이 제가 만드는 것입니다. Monet은 바로 그 흐름을 서비스(flow as a service)로 제공하는 것입니다. 사용자가 ChatGPT Plus, Claude Pro를 연결하거나 제공자 키(provider key)를 붙여넣을 수 있는 호스팅된 연결 페이지를 제공합니다. 자격 증명(Credentials)은 귀하의 앱이 절대 건드리지 않는 금고(vault)에 AES-256-GCM 방식으로 암호화되어 저장됩니다. 귀하의 앱은 불투명한 토큰(opaque token)을 보유하고 OpenAI 호환 엔드포인트(endpoint) 하나를 호출하기만 하면 됩니다. 그러면 Monet이 제공자에게 프록시(proxy) 역할을 수행하고, 응답을 스트리밍하며, 사용자당 실제 토큰 수를 기록하여 비용을 측정하거나 사용자에게 전가할 수 있게 합니다. 베타 기간 동안은 무료이며, demo.monet.gg에서 작동하는 데모를 확인할 수 있습니다.

BYOK(Bring Your Own Key)는 사용자가 개발자, AI 파워 유저, 또는 이미 제공자 계정을 보유하고 있는 팀인 경우에 가장 적합하며, 이들이야말로 가장 큰 추론(inference) 비용을 발생시키는 대상입니다. 개발 도구(Dev tools), 에이전트 플랫폼(agent platforms), 프로슈머(prosumer) 소프트웨어: 귀하의 헤비 유저들은 가져올 수 있는 구독 서비스를 가지고 있을 가능성이 가장 높으며, 이는 오늘날 귀하에게 가장 많은 비용을 발생시키는 사용자들이 전환하기에 가장 저렴한 사용자임을 의미합니다.

마진(margin) 문제는 AI가 비싸다는 것이 아닙니다. 사용자가 이미 소유하고 있는 것에 대해 귀하가 자발적으로 비용을 지불하고 있다는 점입니다.

관련 글: 사용자가 자신의 OpenAI 또는 Anthropic API 키를 가져오게 하는 방법 (평문으로 저장하지 않고), 이 주장의 구현 측면.

저는 Shlok이며, 15살이고, 혼자서 Monet을 만들고 있습니다. 답장과 반대 의견 모두 환영합니다: shlokmadhekar88@gmail.com, github.com/shlok-madhekar, @shlokbuilds.