Codex와 Sora의 접근성 확장: 실시간 사용량 추적 및 크레딧 기반 결제 시스템

요약

OpenAI는 폭발적으로 성장하는 Codex와 Sora 같은 제품에 대응하기 위해 기존의 단순한 속도 제한(rate limit) 모델을 넘어선 하이브리드 접근 제어 시스템을 구축했습니다. 이 신규 시스템은 사용자가 요청할 때마다 실시간으로 속도 제한과 크레딧 잔액을 결합하여 사용량을 결정합니다. 특히, 사용자 경험 저하를 막기 위해 '실시간 한계(Rate Limit)'와 '사용한 만큼 지불(Pay-as-you-go)' 방식을 하나의 워터폴(waterfall) 모델로 통합했습니다. 이 시스템은 모든 트랜잭션에 대한 완벽한 감사 추적(

핵심 포인트

• Codex 및 Sora의 폭발적인 수요 증가에 대응하기 위해 기존 속도 제한과 사용량 기반 과금 방식의 한계를 극복하는 하이브리드 접근 제어 시스템을 구축했습니다.
• 새로운 시스템은 요청 시 실시간으로 속도 제한(Rate Limit)을 적용하고, 초과분에 대해서는 크레딧 잔액을 즉시 소모시키는 방식으로 작동합니다.
• 시스템의 핵심 설계 원칙은 '증명 가능한 정확성(Provably Correctness)'이며, 이를 위해 사용 활동(Product usage events), 과금 이벤트(Monetization events), 잔액 업데이트(Balance updates) 세 가지 독립적인 데이터셋을 구축했습니다.
• 이 시스템은 모든 요청에 대해 일관된 사용자 경험을 제공하며, 크레딧 소모를 비동기적으로 처리하여 정확한 감사 추적과 재처리(reconciliation)가 가능하게 합니다.