이 속도 수치들을 더 빨리 알았더라면 좋았을 텐데 — 상세 분석 결과

이것 좀 보세요: 제가 AI 기반 고객 지원 플랫폼을 구축하기 시작했을 때, 저는 전형적인 실수를 저질렀습니다. 모델의 품질을 최우선으로 최적화하고, 속도는 두 번째로 고려한 것입니다. 3개월이 지났을 때, 우리의 이탈률(churn rate)은 18%였습니다. 사용자들이 떠난 이유는 답변이 틀렸기 때문이 아니라, 첫 번째 토큰(first token)이 나타나는 데 2초나 걸렸기 때문입니다.

AI 열풍 속에서 아무도 말해주지 않는 사실이 있습니다: TTFT (Time to First Token, 첫 번째 토큰까지의 시간)는 리텐션(retention, 유지율)의 조용한 살인자입니다. 초기 지연 시간을 100ms(밀리초)씩 줄일 때마다 세션 완료율과 직접적인 상관관계가 있습니다. 저는 똑똑하게 들리지만 느리게 느껴지는 모델들에 4만 달러의 API 크레딧을 낭비한 후에야 이 사실을 뼈아프게 배웠습니다.

그래서 저는 실용적인 CTO라면 누구나 할 법한 일을 했습니다. 자리에 앉아 Global API의 인프라 전반에 걸쳐 여러 지리적 지역에서 실제 추론(inference) 시나리오를 실행하며 15개의 프로덕션 준비 완료(production-ready) 모델을 벤치마킹했습니다. 이 수치들은 제가 아키텍처(architecture) 결정을 내리는 방식을 완전히 바꾸어 놓았습니다.

실제로 중요한 설정

결과를 살펴보기 전에, 제가 사용한 방법론을 말씀드리겠습니다. 벤치마크를 기반으로 결정을 내리려면 테스트 하네스(test harness)를 신뢰할 수 있어야 하기 때문입니다:

파라미터	나의 테스트 프로토콜
테스트 날짜	2026년 5월 20일
...

저는 재귀(recursion)를 선택했는데, 이는 계산적으로 흥미롭기 때문입니다. 재귀는 모델이 단순히 패턴 매칭(pattern-match)을 하는 대신 실제로 추론(reason)하도록 강제합니다. 그리고 클라우드 제공업체의 지터(jitter, 변동성)를 완화하기 위해 10회 반복(iteration)을 실행했습니다.

내 아키텍처를 바꾼 속도 순위

우리의 모델 라우팅 레이어(routing layer)를 완전히 재고하게 만든 원시 데이터는 다음과 같습니다:

순위	모델	TTFT (ms)	Tokens/sec (초당 토큰 수)	제공업체	$/M Output (출력 100만 토큰당 비용)
🥇	Step-3.5-Flash	120	80	StepFun	$0.15
...

무언가 눈치채셨나요? 추론 모델(reasoning models, R1, K2.5)은 그 내부적인 사고 시간(thinking time)이 TTFT에 포함되어 있습니다. 그것은 버그가 아닙니다. 사고 사슬(chain-of-thought)이 필요할 때는 기능(feature)이 되지만, 대화형 사용 사례(interactive use cases)에서는 UX를 망가뜨립니다.

현재 내가 최고의 ROI를 얻고 있는 곳

단순한 속도 수치만으로는 전체 그림을 다 보여줄 수 없기에, 제가 실제 운영 환경(production)에서 사용 중인 티어(tiers)를 차례대로 설명하겠습니다. 진짜 마법은 모델의 성능(capability)을 작업 비용(task cost)에 맞추는 데 있습니다.

Ultra-Budget (< $0.15/M) — 확장 계층 (Your Scale Layer)

Model	tok/s	$/M
Qwen3-8B	70	$0.01
Step-3.5-Flash	80	$0.15

출력당 $0.01/M인 Qwen3-8B는 말도 안 되는 수준입니다. 저는 모든 분류(classification), 의도 탐지(intent detection), 그리고 단순 질의응답(Q&A) 흐름에 이 모델을 사용하고 있습니다. 150ms의 TTFT(Time To First Token)와 70 tok/s의 속도는 즉각적인 느낌을 줍니다. 단점은 무엇일까요? 미묘한 차이가 중요한 작업(nuanced tasks)에서는 품질이 저하된다는 점입니다. 하지만 트래픽의 80%를 처리하는 데 있어서는 최고의 선택입니다.

Step-3.5-Flash의 80 tok/s는 속도 챔피언입니다. 지연 시간(latency)을 희생하지 않으면서도 약간 더 나은 이해력이 필요할 때 적합합니다. $0.15/M의 가격으로 처리량(throughput) 대비 ROI(투자 대비 효율)가 타의 추종을 불허합니다.

Budget ($0.15-$0.30/M) — 최적의 지점 (The Sweet Spot)

Model	tok/s	$/M
DeepSeek V4 Flash	60	$0.25
...

DeepSeek V4 Flash는 고객 대면 채팅(customer-facing chat)을 위한 저의 기본 모델입니다. $0.25/M의 가격에 GPT-4o급 품질을 유지하며 60 tok/s를 제공한다고요? 이는 벤처 캐피털(VC)들이 좋아할 만한 계산법입니다. 180ms의 TTFT 덕분에 사용자들은 이를 즉각적이라고 느낍니다. 저는 전체 트래픽의 60%를 이 모델로 라우팅(routing)하고 있습니다.

55 tok/s에 $0.28/M인 Hunyuan-TurboS는 아시아 시장을 위한 저의 백업(fallback) 모델입니다. 지리적 지연 시간(geographic latency)의 이점이 실제로 존재합니다(이에 대해서는 아래에서 더 자세히 다루겠습니다).

Mid-Range ($0.30-$0.80/M) — 속도보다 품질이 중요할 때

Model	tok/s	$/M
Doubao-Seed-Lite	50	$0.40
...

이 티어는 **배치 처리(batch processing) 및 비동기 워크플로우(async workflows)**를 위한 것입니다. 저는 문서 분석 및 코드 리뷰를 위해 DeepSeek V4 Pro를 사용하는데, 추가적인 품질 향상이 속도 저하를 정당화해 줍니다. 하지만 응답을 기다리는 사용자 앞에 이 모델을 배치하는 일은 절대 없을 것입니다.

Premium ($0.80+/M) — 정확성이 결정적일 때만

모델	tok/s	$/M
MiniMax M2.5	28	$1.15
...
출력 비용 $3.00/M인 Kimi K2.5 — 저는 이 모델을 법률 문서 검토 및 컴플라이언스 (Compliance) 체크 전용으로 사용합니다. 600ms의 TTFT (Time To First Token)는 고통스럽지만, 정밀함이 필요할 때는 그 비용을 지불할 가치가 있습니다. 다만, 이 모델을 최종 사용자에게 직접 노출하지만 마십시오.

제가 고생하며 배운 지리적 지연 시간 (Geographic Latency)의 교훈

지난 분기에 싱가포르에서 서비스를 출시했을 때 우리의 지연 시간 (Latency) 지표는 폭락했습니다. 미국 동부 (US East)와 아시아를 비교했을 때 제가 발견한 결과는 다음과 같습니다:

모델	US East TTFT	Asia TTFT	차이
DeepSeek V4 Flash	180ms	150ms	-30ms
...
아시아 모델들 (Qwen, GLM, Kimi)은 서버 근접성 덕분에 아시아에서의 지연 시간이 16-20% 더 낮습니다. DeepSeek는 전 세계적으로 잘 분산되어 있어, 제 테스트에서는 오히려 아시아에서 성능이 더 좋게 나왔습니다.

이 결과는 저의 라우팅 (Routing) 전략을 완전히 바꾸어 놓았습니다. 이제 저는 다음과 같은 간단한 지리적 라우터 (Geographic Router)를 사용합니다:

import requests

def route_model(prompt: str, user_region: str) -> str:
...

모든 것을 다시 생각하게 만든 실질적인 영향

우리가 구축을 시작했을 때 저에게도 이런 표가 있었더라면 좋았을 것입니다:

TTFT	사용자 인지	리텐션 (Retention)에 미치는 영향
< 200ms	"즉각적" — 우수한 UX	세션 완료율 +12%
...
저의 경험칙: 대화형 유스케이스 (Interactive use cases)를 위해 TTFT가 400ms를 초과하는 모델을 배포하지 마십시오. 끝입니다. 모델이 더 오래 걸린다면, 백그라운드 프로세싱 (Background processing) 용도로 사용하고 사용자에게는 로딩 상태를 보여주십시오.

현재 제가 설계하고 있는 방식

저는 3단계 라우팅 시스템 (Three-tier routing system)으로 전환했습니다:

1. Tier 1 (즉각적): 분류 (Classification), 의도 탐지 (Intent detection), 간단한 Q&A를 위한 Qwen3-8B 또는 Step-3.5-Flash. TTFT < 200ms, 비용 < $0.15/M.
2. Tier 2 (빠름): 고객 대면 채팅을 위한 DeepSeek V4 Flash. TTFT ~180ms, 비용 $0.25/M.
3. Tier 3 (품질): 비동기 처리 (Async processing), 분석, 코드 리뷰를 위한 DeepSeek V4 Pro 또는 GLM-5.

핵심 통찰은 무엇일까요? 벤더 종속 (Vendor lock-in)을 피하는 것입니다. 제가 Global API를 통해 라우팅하는 이유는 코드베이스를 변경하지 않고도 모델을 교체할 수 있기 때문입니다. 다음은 프로덕션 (Production) 코드 스니펫입니다:

from typing import Dict, List
import requests

...

결론 (The Bottom Line)

사용자에게 직접 노출되는 서비스를 구축하고 있다면, 벤치마크 리더보드(Benchmark leaderboards)를 위한 최적화를 멈추고 TTFT (Time To First Token) 최적화를 시작하십시오. 인간의 뇌는 200ms를 즉각적인 것으로 인지합니다. 800ms는 고장 난 것처럼 느껴집니다. 사용자들은 모델이 생각할 때까지 기다려주지 않습니다. 그들은 그냥 떠나버릴 것입니다.

저의 현재 스택은 다음과 같습니다: 대량 처리를 위한 Qwen3-8B, 품질을 위한 DeepSeek V4 Flash, 그리고 글로벌 성능을 위한 지리적 라우터 (Geographic router). 총 비용은요? 처리된 100만 토큰당 약 2.50달러입니다. 저희의 리텐션 (Retention)은? 전환 이후 15% 상승했습니다.

개별 API 키 관리와 벤더 협상의 번거로움 없이 이 설정을 복제하고 싶다면, Global API를 확인해 보세요. 제가 지연 시간 (Latency)을 200ms 미만으로 유지하면서 특정 업체에 종속되는 것 (Lock-in)을 피하기 위해 사용하고 있는 도구입니다. 하나의 엔드포인트(Endpoint)로 15개의 모델을 사용할 수 있으며, 벤더와의 갈등도 없습니다.

사용자들이 당신에게 감사할 것입니다. 당신의 비용 소모율 (Burn rate)도 감사할 것입니다. 그리고 CTO의 정신 건강은요? 그것은 타협할 수 없는 문제입니다.