OpenAI는 단일 PostgreSQL primary와 50개 read replica만을 사용하여 ChatGPT에서 8억 명의 사용자 트래픽을 처리하고 있습니다.

트래픽이 늘어나자마자 사람들이 가장 먼저 DB를 샤딩(sharding)할 생각부터 하는데, 그렇게 하면 인프라 지옥으로 가는 문을 열게 됩니다.

대부분의 서비스는 데이터 일관성(data consistency) 관리 복잡도가 급증하기 때문에 아키텍처 문제로 인해 무너질 운명입니다. 특히 그렇습니다.

OpenAI는 단 하나의 PostgreSQL primary와 50개 replica 구조만으로 8억 명 사용자들의 ChatGPT 트래픽을 관리하고 있습니다. 그들은 PgBouncer 최적화와 캐시 잠금(cache locking)을 통해 단일 마스터의 한계를 극복했습니다.

이것이 바로 기술을 도입할 때, 복잡한 새로운 도구에 뛰어들기 전에 기본 사항들을 최적화하는 것이 먼저인 이유입니다.

Lee Hyung-doo는 Codex 대신 Claude를 사용하고 있는 것 같네요.