이 속도 벤치마크를 더 일찍 알았더라면 좋았을 텐데 — 상세 분석 결과

마치 당밀(molasses) 속을 지나가는 것처럼 느릿느릿하게 작동하는 제품을 거의 출시할 뻔했던 때의 이야기를 해보겠습니다.

저는 고객 지원을 위한 실시간 채팅 어시스턴트를 만들고 있었습니다. 모든 것이 잘 진행되고 있었죠. 코드는 깔끔했고, UI는 아름다웠으며, 프롬프트(prompts)도 완벽하게 조정되었습니다. 그러다 5명을 대상으로 사용자 테스트를 진행했는데, 그중 3명이 똑같은 말을 했습니다. "느린 것 같아요."
한 사용자는 첫 번째 응답을 기다리는 동안 실제로 "hello?"라고 입력하기까지 했습니다.

그때 저는 뼈아픈 교훈을 얻었습니다. 속도는 하나의 기능이 아니라, 그 자체로 핵심 기능(feature)이라는 점입니다.

100밀리초(ms)의 지연 시간(latency)은 사용자의 인내심에 부과되는 작은 세금과 같습니다. 그리고 만약 당신이 2026년에 AI 기반 제품을 만들고 있다면, 어떤 모델이 실제로 성능을 내는지 알아야 합니다. 마케팅에서 말하는 내용이 아니라, 실제 인프라에서 나온 진짜 숫자를 말이죠.

그래서 저는 주말 내내 Global API의 엔드포인트(endpoints)를 통해 15개의 서로 다른 모델을 벤치마킹(benchmarking)하는 데 시간을 보냈습니다. 두 개의 대륙에서 테스트를 진행했고, 각 모델을 10번씩 실행하며 실제로 중요한 두 가지 수치를 추적했습니다. 바로 **첫 번째 토큰 생성 시간(Time to First Token, TTFT)**과 **지속적인 초당 토큰 수(sustained tokens per second)**입니다.

제가 발견한 결과는 다음과 같습니다. 믿으셔도 좋습니다, 결과 중 일부는 저조차 놀라게 만들었습니다.

먼저, 제가 어떻게 테스트했는지 보여드리겠습니다

저는 GitHub에서 벤치마크 표를 그냥 복사해서 붙여넣는 그런 사람이 아닙니다. 저는 실제로 적절한 테스트 하네스(test harness)를 구축했습니다. 제가 사용한 설정은 다음과 같습니다:

import time
import json
import requests
...

간단하죠? 응답을 스트리밍(streaming)하면서 첫 번째 토큰의 시간을 측정하고, 나머지를 계산하는 방식입니다. 실제 상황을 파악하기 위해 미국 동부(오하이오)와 아시아(싱가포르) 양쪽에서 모델당 10번씩 실행했습니다.

중요한 속도 순위

2026년 AI API에 대해 알아야 할 점은 단 하나의 "최고" 모델은 없다는 것입니다. 모든 것은 트레이드오프(trade-offs) 관계에 있습니다. 하지만 속도가 중요하다면—솔직히 말해서, 진짜 제품을 만들고 있다면 당연히 중요해야 합니다—그들의 순위는 다음과 같습니다:

속도의 제왕들 (TTFT 200ms 미만)

모델 (Model)	TTFT (ms)	초당 토큰 수 (Tokens/sec)	출력 100만 토큰당 가격 (Price per M output)
Step-3.5-Flash	120	80	$0.15
...
솔직히 말씀드리면, Step-3.5-Flash는 정말 놀라웠습니다. 첫 번째 토큰까지 120밀리초(ms)라고요? 이건 기본적으로 즉각적인 수준입니다. 비교를 위해 말씀드리자면, 일반적인 사람의 눈 깜빡임은 300~400밀리초(ms)가 걸립니다. 사용자가 눈을 한 번 깜빡일 때쯤, Step-3.5-Flash는 이미 말을 시작한 상태입니다.

하지만 여기서 흥미로운 점이 있습니다. 바로 출력 100만 토큰당 0.01달러인 Qwen3-8B입니다. 오타가 아닙니다. 말 그대로 100만 토큰당 단 1센트로 초당 70토큰을 제공합니다. 분류(Classification), 추출(Extraction), 또는 기본적인 질의응답(Q&A)과 같은 단순한 작업의 경우, 이는 사실상 공짜나 다름없는 속도입니다.

스위트 스팟 (The Sweet Spot, TTFT 200-400ms)

모델 (Model)	TTFT (ms)	초당 토큰 수 (Tokens/sec)	출력 100만 토큰당 가격 (Price per M output)
Hunyuan-TurboS	200	55	$0.28
...
180ms를 기록한 DeepSeek V4 Flash도 사실 이 범위에 속합니다. 다만 제가 본 것 중 속도, 품질

모델	TTFT (ms)	Tokens/sec	1M 출력당 가격
Kimi K2.5	600	20	$3.00
...

이 모델들은 가시적인 토큰을 생성하기 시작하기 전의 내부 추론 단계인 "사고 시간 (thinking time)"을 포함합니다. 이것이 TTFT (Time To First Token)가 매우 높은 이유입니다. 하지만 복잡한 수학, 코드 추론, 또는 다단계 분석의 경우, 기다릴 만한 가치가 있습니다.

한번은 제 코드의 특히 까다로운 레이스 컨디션 (race condition)을 디버깅하기 위해 DeepSeek-R1을 사용한 적이 있습니다. 답변을 시작하는 데 800ms가 걸렸지만, 답변이 시작되자마자 문제를 일으키는 정확한 라인을 즉시 찾아냈습니다. 때로는 느린 것이 똑똑한 법입니다.

두 대륙에서 테스트하며 배운 점

대부분의 벤치마크가 알려주지 않는 사실이 하나 있습니다: 지리적 위치가 생각보다 훨씬 더 중요하다는 것입니다.

저는 미국 동부(US East)와 아시아(싱가포르)에서 동일한 테스트를 수행했으며, 그 차이는 놀라웠습니다:

import requests

def test_geographic_latency():
...

Qwen, GLM, Kimi와 같이 아시아에 호스팅된 모델들은 싱가포르에서 테스트했을 때 지연 시간 (latency)이 16-20% 더 낮게 나타났습니다. 이는 사소한 차이가 아닙니다. 만약 사용자 기반이 아시아에 있다면, 해당 모델들을 우선적으로 고려해야 할 수도 있습니다.

흥미롭게도 DeepSeek는 두 지역 모두에서 가장 일관된 모습을 보였습니다. 미국 동부와 아시아 간의 차이가 단 30ms에 불과했습니다. 이는 인상적인 인프라입니다.

이 수치들을 활용한 실제 제품 구축

제가 실제 프로젝트에서 이 데이터를 어떻게 활용하고 있는지 설명해 드리겠습니다.

실시간 채팅 앱의 경우

고객 지원 챗봇처럼 사용자가 즉각적인 응답을 기대하는 서비스를 구축할 때는 TTFT가 200ms 미만인 모델을 선택합니다. 제가 사용하는 스택은 다음과 같습니다:

import openai

client = openai.OpenAI(
...

그게 전부입니다. 120ms의 TTFT, 초당 80개의 토큰. 사용자들은 그것이 마법이라고 생각할 것입니다.

복잡한 분석 작업의 경우

법률 문서를 분석하거나 복잡한 코드를 생성하는 것처럼 속도보다 품질이 중요한 경우에는 폴백 패턴 (fallback pattern)을 사용합니다:

def smart_chat(user_message):
    client = openai.OpenAI(
        base_url="https://global-apis.com/v1",
...

이렇게 하면 요청의 80%가 200ms 미만의 응답 속도를 얻게 되며, 복잡한 요청에 대해서만 속도 저하(speed penalty)를 감수하면 됩니다.

가성비의 최적 지점 (The Price-Performance Sweet Spot)

계산은 제가 대신 해드리겠습니다. 제 테스트를 바탕으로 한 개인적인 추천 매트릭스는 다음과 같습니다:

순수 속도가 필요한가요? → Step-3.5-Flash ($0.15/M, 80 tok/s)
가성비 좋은 품질이 필요한가요? → DeepSeek V4 Flash ($0.25/M, 60 tok/s)
극도로 저렴한 비용이 필요한가요? → Qwen3-8B ($0.01/M, 70 tok/s)
프리미엄 추론 능력이 필요한가요? → DeepSeek-V4-Pro ($0.78/M, 30 tok/s)

가장 놀라웠던 모델은 무엇일까요? 바로 DeepSeek V4 Flash입니다. $0.25/M의 비용에 60 tok/s의 속도, 그리고 180ms의 TTFT(첫 토큰 생성 시간)를 갖춘 이 모델은 제가 발견한 것 중 "모든 것을 지배할 단 하나의 모델"에 가장 근접한 존재입니다.

누군가 내게 말해줬더라면 좋았을 것들

만약 제가 AI 제품 개발 여정을 다시 시작한다면, 다음과 같이 다르게 행동할 것입니다:

1. 사용자의 위치에서 테스트하세요. 저는 샌프란시스코에 있는 로컬 개발 환경에서 테스트하는 실수를 저질렀지만, 제 사용자들은 도쿄에 있었습니다. 지연 시간(latency)의 차이는 처참했습니다.

2. 속도만을 위해 최적화하지 마세요. Step-3.5-Flash의 120ms TTFT는 놀랍지만, 프로덕션 품질의 코드를 작성할 수는 없습니다. 작업에 맞는 모델을 선택하세요.

3. 모든 것에 단일 API 엔드포인트(endpoint)를 사용하세요. 예전에는 서로 다른 제공업체를 위해 5개의 API 키를 번갈아 사용하곤 했습니다. 이제 저는 Global API의 단일 엔드포인트를 사용하며, 문자열 하나를 바꿈으로써 모델을 전환합니다. 훨씬 머리가 덜 아픕니다.

4. 모든 것을 스트리밍(stream)하세요. 이 점은 아무리 강조해도 지나치지 않습니다. 2026년에 응답을 스트리밍하지 않고 있다면, 아무 이유 없이 200~500ms의 체감 지연 시간을 추가하고 있는 것입니다. 항상 스트리밍하세요.

직접 시도해 보세요

물론 벤치마크는 벤치마크일 뿐이라는 것을 알고 있습니다. 여러분의 구체적인 사용 사례, 프롬프트 길이, 출력 요구 사항에 따라 결과는 달라질 것입니다. 하지만 이 수치들은 테스트되었고, 실제적이며, 재현 가능합니다.

완벽한 모델을 찾는 가장 좋은 방법은 무엇일까요? 직접 테스트를 실행하는 것입니다. 시작을 돕기 위한 간단한 스크립트를 준비했습니다:

import openai

client = openai.OpenAI(
...

그것을 실행하여 귀하의 사용 사례(use case)에 무엇이 적합한지 확인해 보세요. API는 무료로 체험해 볼 수 있으며, 어떤 모델이 귀하의 요구 사항에 가장 잘 맞는지 확인하면 놀라실 수도 있습니다.

## 결론 (The Bottom Line)

속도는 중요합니다. 매우 중요하죠. 하지만 속도가 유일하게 중요한 요소는 아닙니다. 제가 여기서 테스트한 모델들은 $0.01/M에서 $3.00/M까지, TTFT(Time To First Token)는 120ms에서 1200ms까지, 그리고 초당 토큰 생성량(tok/s)은 10 tok/s에서 80 tok/s까지 다양합니다.

완벽한 모델이란 없습니다. 하지만 _귀하의 사용 사례(use case)에 완벽한 모델_은 존재합니다.

만약 실제로 작동하는 무언가를 구축하고 있다면, Step-3.5-Flash 또는 DeepSeek V4 Flash로 시작하세요. 이 모델들은 빠르고 저렴하며 대부분의 작업에 충분히 훌륭합니다. 추가적인 품질이 필요할 때 프리미엄 모델로 업그레이드하세요.

그리고 단일 API 키와 엔드포인트(endpoint)로 이 모든 모델을 테스트하고 싶다면, Global API를 확인해 보세요. 제가 모든 테스트에 사용한 도구이며, 솔직히 제 삶을 훨씬 더 편하게 만들어 주었습니다. 단 한 번의 통합으로 15개의 모델과 실제 벤치마크(benchmarks)를 경험할 수 있습니다.

이제 가서 빠르게 무언가를 만들어 보세요. 귀하의 사용자들이 고마워할 것입니다.