이것 좀 보세요: 여러분이 직접 하지 않도록 제가 몇 주 동안 AI API 벤치마킹을 수행했습니다

솔직히 말해서, 제가 처음 제 SaaS에 AI 기반 기능을 구축하기 시작했을 때, 속도가 얼마나 중요한지 전혀 몰랐습니다. 예를 들어, 2초 정도의 응답 시간은 괜찮다고 생각했죠. 사람들은 2초 정도는 기다릴 수 있잖아요, 그렇죠?

틀렸습니다.

응답 시간에서 100ms를 줄일 때마다 전환율(conversion rate)이 올라갔습니다. 조금 올라간 것도 아니었습니다. 시중에 나와 있는 거의 모든 연구가 제가 고생하며 배운 것을 확인해 줍니다. 즉, 지연 시간(latency)은 좋은 UX(사용자 경험)를 죽이는 소리 없는 살인자라는 사실입니다.

그래서 저는 집착적인 인디 해커(indie hacker)라면 누구나 할 법한 일을 했습니다. 몇 주 동안 벤치마킹을 수행했습니다. 15개의 서로 다른 모델을 테스트했습니다. TTFT (첫 번째 토큰까지의 시간, time to first token), 초당 토큰 수(tokens per second) 등 모든 것을 측정했습니다. 두 개의 서로 다른 지역에서 Global API를 호출했고, 동일한 프롬프트를 각각 10번씩 실행하여 수치를 평균 냈습니다.

제가 발견한 결과는 다음과 같습니다.

제가 왜 굳이 이 일을 했는가

보세요, 시중에는 수백만 개의 AI API 비교 포스트가 있습니다. 대부분은 그저 마케팅 문구를 그대로 옮겨 적은 것에 불과합니다. 저는 사용자가 로딩 스피너를 바라보고 있을 때 실제로 무엇이 성능을 내는지에 대해, 빌더(builder)의 관점에서 얻은 진짜 데이터를 원했습니다.

제 설정:

• 테스트 날짜: 2026년 5월 20일
• 두 지역: US East (Ohio) 및 Asia (Singapore)
• 프롬프트: "재귀(recursion)에 대해 200단어로 설명해줘"
• 출력: 테스트당 약 150 토큰
• 각 테스트를 10회 실행하여 평균값 산출
• 항상 SSE를 통한 스트리밍 방식 사용
• 모든 호출은 https://global-apis.com/v1의 Global API를 통해 진행

이렇게 많은 시간을 쏟았다면, 공유하는 것이 맞다고 생각했습니다.

속도 승자 (그리고 놀라운 점들)

좋아요, 순위가 저를 좀 놀라게 했습니다. 저는 유명한 이름들이 독점할 것이라고 예상했습니다. 하지만 그렇지 않았습니다. 다음은 TTFT, 초당 토큰 수, 그리고 가격과 함께 가장 빠른 것부터 가장 느린 것 순으로 나열한 15개 모델의 순위입니다:

가장 중요한 결론은 무엇일까요? Step-3.5-Flash는 초당 80토큰(tokens/second)으로 압도적인 속도의 왕입니다. 하지만 Qwen3-8B가 70 tok/s로 바로 그 뒤를 바짝 쫓고 있으며, 출력 토큰 100만 개당 가격이 말 그대로 단 '1센트'입니다. 1센트라니요. 저는 이 숫자를 세 번이나 다시 확인해야 했습니다.

느린 모델들에 대한 짧은 참고 사항

목록의 하단에 있는 모델들을 바로 무시하기 전에 말씀드리고 싶은 것이 있습니다. 그 느린 모델들이 나쁜 것은 아닙니다. 그중 일부는 추론 모델 (reasoning models, 예: DeepSeek-R1, Kimi K2.5)인데, 이는 첫 번째 토큰을 내뱉기 전에 내부적으로 "생각"하는 데 시간을 소비한다는 의미입니다. Qwen3.5-397B는 3,970억 개의 파라미터를 가진 거대한 모델이므로, 당연히 느릴 수밖에 없습니다.

하지만 채팅 앱이나 어떤 종류의 대화형 경험(interactive experience)을 구축한다면? 이런 모델들은 고통스럽게 느껴질 것입니다.

가격별 그룹화 (여기서부터 흥미로워집니다)

단순한 속도 순위도 괜찮지만, 인디 해커 (indie hacker)로서 저는 가치 (VALUE)에 훨씬 더 관심이 많습니다. 그래서 모든 것을 가격 계층별로 분류해 보았고, 매우 유용한 패턴들을 발견했습니다.

"백만 개당 몇 센트" 계층 (출력 100만 개당 $0.15 미만)

Qwen3-8B는 솔직히 말해서 말도 안 되는 수준입니다. 100만 개당 1센트에 초당 70토큰입니다. 100만 토큰을 돌려도 커피 한 잔 값도 안 됩니다. 탁월함보다는 순수 속도가 더 중요한 분류 (classification), 간단한 질의응답 (Q&A), 요약 (summarization) 같은 작업에는 이 모델을 이길 자가 없습니다.

저는 이 모델로 태깅 기능을 만들었는데, 정말 날아다닙니다.

스위트 스팟 (Sweet Spot, $0.15-$0.30/M)

이곳이 현재 제가 주로 사용하는 구간입니다. 제가 만드는 거의 모든 새로운 기능은 이 계층의 모델을 사용합니다.

DeepSeek V4 Flash는 제가 즐겨 찾는 모델입니다. 체급을 훨씬 뛰어넘는 품질과 함께 초당 60토큰을 제공합니다. 솔직히 대부분의 작업에서 GPT-4o와 경쟁할 만한 수준이면서 비용은 아주 일부분에 불과합니다. $0.25/M은 제공되는 성능 대비 정말 경이로운 가격입니다.

이 포스트 전체를 관통하는 단 하나의 추천을 원하신다면, 그것은 바로 DeepSeek V4 Flash입니다. 끝.

중간 단계 ($0.30-$0.80/M)

저는 이메일 초안이나 블로그 포스트처럼 다시 생성하기가 더 까다로운 작업을 사용자가 기다리고 있을 때 이 등급을 사용합니다. 무조건 빠른 것이 항상 더 좋은 것은 아닙니다.

프리미엄 등급 ($0.80+/M)

저는 고객 지원 티켓의 야간 배치 처리 (Batch processing)와 같이 지연 시간 (Latency)이 중요하지 않은 백엔드 작업에 이 모델들을 사용합니다. 사용자가 로딩 스피너를 쳐다보고 있는 상황이 아니므로, 느린 속도는 괜찮습니다.

아무도 말하지 않는 지리적 요인

테스트를 시작하기 전까지는 생각하지 못했던 점이 있습니다. 바로 서버가 어디에 있느냐가 제가 예상했던 것보다 훨씬 더 중요하다는 사실입니다.

저는 미국 동부 (US East)와 아시아 (Asia)에서 동일한 테스트를 실행했습니다. 제가 발견한 결과는 다음과 같습니다:

저에게 이것은 확신을 주었습니다. 만약 사용자가 주로 아시아에 있다면, Qwen이나 GLM을 먼저 고려해야 합니다. 만약 사용자가 전 세계에 퍼져 있다면, 지역적 약점이 없는 DeepSeek V4 Flash가 최선의 선택입니다.

사용자가 실제로 속도를 인지하는 방식

이 부분은 API 속도에 대한 저의 생각을 완전히 바꾸어 놓았습니다. 예전에는 "음, 1초 미만이니까 충분히 빠르네"라고 생각하곤 했습니다. 그러다 제가 수집한 실제 사용자 피드백을 바탕으로 다음과 같은 표를 직접 만들었습니다:

저에게 있어 마지노선은 400ms입니다. 이 수치를 넘어가면 지원 티켓(support tickets)이 늘어납니다. 반대로 200ms 미만이면 사용자들이 때때로 앱이 고장 난 것이 아닌지 의심하기도 합니다 ("처리되긴 한 건가?").

180ms를 기록한 DeepSeek V4 Flash는 즉각적으로 느껴지면서도, 동시에 무언가 처리되었다는 것을 사용자가 인지할 수 있는 최적의 지점(sweet spot)을 공략합니다.

제가 실제로 사용하는 코드

제가 사용하는 스트리밍(streaming) 설정이 어떻게 구성되어 있는지 보여드리겠습니다. 여기 Global API를 통해 모델을 벤치마킹하는 간단한 Python 예시가 있습니다:

import requests
import time

...

그리고 비스트리밍(non-streaming) 호출(배치 작업에 유용함)을 위해 실제 앱에서 사용하는 프로덕션 준비 완료(production-ready) 함수입니다:

import requests
import time

...

꽤 간단한 내용이지만, BASE_URL = "https://global-apis.com/v1" 트릭 덕분에 코드를 변경하지 않고도 제공업체(provider)를 교체할 수 있습니다. 저는 말 그대로 모델 이름만 바꾸면 바로 작동합니다.

인디 해커(Indie Hacker)로서의 저의 개인적인 스택

이 모든 테스트를 거친 후, 제가 최종적으로 선택한 구성은 다음과 같습니다:

• 기본 채팅 / 대화형 기능: DeepSeek V4 Flash ($0.25/M, 60 tok/s, 180ms TTFT)
• 대량 분류 / 태깅: Qwen