매주 저는 하나의 구매 카테고리를 선정하여, 실제 구매자가 입력할 법한 다섯 가지 질문을 ChatGPT, Claude, Gemini, Perplexity에게 던지고, 누가 언급되는지 그리고 누가 첫 번째로 추천되는지를 집계합니다. 모든 기업에 동일한 질문을 적용하여, 단순한 느낌이 아닌 공정한 비교가 이루어지도록 합니다.

이번 주의 주제는 데이터베이스(Databases)와 스토리지(Storage)입니다. 저는 기존 점유율이 높은 기업(Incumbent)이 반사적으로 추천될 것이라 예상했습니다. 하지만 정반대의 결과가 나왔고, 이어서 반전이 있었습니다.

서버리스 신규 진입자들이 이미 승리했습니다

모델들에게 있어, 도전자들이 이미 정답입니다:

• Neon (서버리스 Postgres): 20번의 대화 중 14번에서 첫 번째로 추천되었습니다.
• Upstash (서버리스 Redis): 20번 중 11번에서 첫 번째로 추천되었습니다.
• Turso (에지 SQLite): 20번 중 9번에서 첫 번째로 추천되었습니다.

이는 문이 닫혀 있지 않다는 실질적인 증거입니다. 기존 기업을 대체한 더 젊은 기업이 AI의 기본 선택지가 될 수 있습니다. Neon이 이를 해냈습니다.

그다음 저는 특화된 작업에 대해 물었습니다

동일한 카테고리지만 세부 작업이 달라지자, 모델들은 매번 기존 점유율이 높은 기업으로 돌아갑니다:

• 벡터 검색 (Vector search): 모델들은 Pinecone, Milvus, Weaviate를 선택합니다. Qdrant는 많이 언급되지만, 첫 번째로 추천된 것은 단 6번뿐입니다.
• 객체 스토리지 (Object storage): 정답은 Amazon S3, Cloudflare R2, Backblaze입니다. Tigris는 보이지 않으며, ChatGPT, Claude, Gemini에서 언급된 횟수가 0회입니다.
• 실시간 분석 (Real-time analytics): Tinybird가 아닌 ClickHouse입니다.
• ORM: Drizzle이 아닌 Prisma입니다.

이유

승리한 신규 진입자들은 기능(Features)으로 승리한 것이 아닙니다. 이 모델들이 학습될 시점에 이미 충분한 독립적인 글들이 그들을 정답으로 지목하고 있었습니다. 그들은 모델이 읽는 입력 데이터(Inputs) 안에 이미 존재하고 있습니다.

그 보이지 않는 존재들은 훌륭한 제품을 출시했지만, 모델은 제품을 평가하는 것이 아니기에 이를 인식하지 못합니다. 모델은 입력 데이터(Inputs)가 말하는 내용을 반복할 뿐입니다. 당신이 참여하지 않은 추천 결과에 도달하기 위해 테스트를 거듭할 수도 없으며, 더 많은 기능(Feature)을 제공한다고 해서 그 결과에 포함될 수도 없습니다. "최고의 벡터 데이터베이스 (best vector database)"를 입력하고 첫 번째 답변을 선택하는 구매자는, 입력 데이터가 바뀌기 전까지는 Qdrant가 아무리 훌륭하더라도 결코 그것을 보지 못할 것입니다.

직접 확인해 보세요

모든 모델의 답변과 축자적(verbatim) 텍스트가 포함된 전체 결과는 여기에서 확인할 수 있습니다: What AI recommends for Databases and Storage. 점수 없이 횟수만 집계되었으며, 모든 숫자는 실제 답변으로 연결됩니다.

당신의 카테고리에 대해서도 동일한 분석(teardown)을 원하신다면, 그것이 바로 Bersyn이 하는 일입니다.