AI API 속도 트레이드오프(Speed Tradeoffs)를 더 빨리 알았더라면 — 상세 분석

3개월 전, 저는 고객에게 챗봇을 출시했지만 운영 환경에서 완전히 실패했습니다. 모델이 나빴기 때문이 아닙니다 — 답변은 훌륭했습니다. 문제는 지연 시간(Latency)이었습니다. 사용자들이 첫 번째 토큰(Token)이 나타나기 전까지 1초 넘게 빈 말풍선을 바라보고 있었습니다. 저는 값비싼 교훈을 얻었습니다: AI 제품을 만들 때 속도는 있으면 좋은 기능(nice-to-have)이 아니라, 게임의 전부라는 사실입니다.

그래서 저는 데이터 과학자라면 누구나 할 법한 일을 했습니다. 추측을 멈추고 측정을 시작했습니다. 저는 2주 동안 Global API의 통합 엔드포인트(Unified endpoint)를 통해 라우팅되는 15개의 서로 다른 거대 언어 모델(Large Language Models, LLM)에 대해 구조화된 속도 테스트를 수행했습니다. 다음에 이어지는 내용은 가감 없는 데이터와 저의 분석입니다 — 근거 없는 설명이나 느낌에 기반한 추천은 없습니다. 오직 숫자와 그 의미뿐입니다.

제가 발견한 내용을 안내해 드리겠습니다.

실험 설정 방법

결과를 공유하기 전에, 제가 이 데이터를 정확히 어떻게 수집했는지 보여드리겠습니다. 표본 크기(Sample size)와 방법론(Methodology)은 숫자 그 자체보다 더 중요하기 때문입니다.

저는 재귀 프롬프트(Recursion prompt)를 의도적으로 선택했습니다. 이는 흔한 실제 작업이며, 일관된 토큰 수를 생성하고, 특정 모델의 학습에 유리할 수 있는 도메인 지식을 요구하지 않습니다. 덕분에 출력 길이(Output length)를 15개 모델 전체에서 통계적으로 비교할 수 있습니다.

각 모델에 대해 다음 항목을 기록했습니다:

• TTFT (첫 번째 토큰까지의 시간, 밀리초 단위)
• 스트리밍 중 지속적인 초당 토큰 수 (Sustained tokens per second)
• 출력 토큰 100만 개당 가격 (Pricing per million output tokens)

그 후 모델당 10회의 실행 결과를 평균 냈습니다. 모델당 n=10의 표본을 통해 노이즈(Noise)와 대비되는 실제 신호(Signal)를 포착할 수 있는 충분한 샘플을 확보했습니다. 물론 더 큰 표본 크기(n=50 이상)가 신뢰 구간(Confidence intervals)을 더 좁힐 수 있다는 점은 저도 인정합니다. 하지만 실질적인 모델 선택 목적을 위해서는 이 정도로 충분합니다.

가공되지 않은 속도 순위

초당 토큰 수(tokens per second)를 기준으로 정렬된 전체 데이터셋은 다음과 같습니다. 속도와 비용 사이의 상관관계는 데이터에서 가장 흥미로운 패턴 중 하나이기에 가격 정보도 포함했습니다.

몇 가지 눈에 띄는 점이 즉각적으로 나타납니다. 첫째, 표 상단에서는 가격 계층(price tier)과 속도 사이에 강한 음의 상관관계(negative correlation)가 존재합니다. 즉, 가장 빠른 모델들이 가장 저렴한 모델 중 하나이기도 합니다. 하지만 표 하단의 "추론(reasoning)" 모델 계층으로 넘어가면 그 상관관계가 깨집니다. DeepSeek-R1, Kimi K2.5, Qwen3.5-397B는 첫 번째 가시적인 토큰을 생성하기 전에 내부적인 사고(internal thinking)에 연산 자원(compute)을 소모하기 때문에 느리면서도 비쌉니다.

Qwen3.5-397B의 TTFT가 1200ms인 것은 버그가 아니라, 모델이 심사숙고(deliberating)하고 있는 것입니다. 이 점을 염두에 두어야 합니다.

이 테스트를 실행하기 위한 나의 코드

저는 마법사가 아니라 데이터 과학자이므로, 제가 사용한 정확한 Python 스크립트를 보여드리겠습니다. 이 코드는 Global API의 통합 엔드포인트(unified endpoint)를 호출하므로, 모델 이름만 바꾸면 모든 모델에 동일한 코드가 작동합니다.

import time
import statistics
import requests
...

평균(mean) 외에도 표준 편차(standard deviation)를 캡처하고 있다는 점에 주목하세요. n=10일 때, 표준 편차는 각 모델이 실행 전반에 걸쳐 얼마나 안정적인지를 알려줍니다. 평균 TPS(초당 토큰 수)는 높지만 표준 편차가 높은 모델은, 평균 TPS는 약간 낮더라도 데이터가 밀집되어 있는(tight clustering) 모델보다 신뢰도가 떨어집니다.

가격 계층별 분석

숫자는 세분화되었을 때 더 유용합니다. 데이터를 가격 구간별로 나누어 각 구간의 승자를 살펴보겠습니다.

초저가 계층 (Ultra-Budget Tier, 출력 토큰 100만 개당 $0.15 미만)

솔직히 말씀드리면 — Qwen3-8B의 출력 비용이 100만 토큰당 $0.01인 것을 보았을 때, 저는 오타라고 생각했습니다. 테스트를 다시 실행해 보았습니다. 오타가 아니었습니다. 100만 토큰당 0.1센트의 비용으로 초당 70토큰을 제공하는 것은 통계적 변칙(statistical anomaly)입니다. 함정은 품질입니다. 단순 분류(classification), 추출(extraction), 그리고 짧은 형식의 생성(short-form generation)에는 매우 훌륭합니다. 하지만 미묘한 차이가 필요한 창의적 글쓰기에는 미치지 못합니다. 속도가 우선시되는 곳에 사용하세요.

80 tok/s를 기록한 Step-3.5-Flash는 전체적인 속도 챔피언이며 여전히 터무니없이 저렴합니다. 단순히 원시 처리량(raw throughput)만을 원한다면, 이 모델이 정답입니다.

예산 등급 (Budget Tier, $0.15–$0.30/M)

중급 등급 (Mid-Range, $0.30–$0.80/M)

프리미엄 등급 (Premium, $0.80+/M)

지리적 지연 시간은 생각보다 더 중요합니다

이것은 제가 거의 건너뛸 뻔했던 분석 부분인데, 다행히도 놓치지 않았습니다. 저는 US East 엔드포인트 외에도 싱가포르 엔드포인트에서 동일한 벤치마크 스위트를 실행했습니다. 그 차이는 예상보다 더 컸습니다.

몇 가지 주의사항이 있습니다. 저는 단지 두 개의 지역만 테스트했기 때문에, '16-20%'라는 수치는 신뢰 구간이 아닌 점 추정치일 뿐입니다. 더 광범위한 주장을 하려면 최소 5개 지역에서 테스트하고 싶습니다. 하지만 방향성 측면의 발견은 확실합니다. 사용자가 있는 가장 가까운 지역에서 서비스를 제공하세요.

TTFT가 사용자에게 실제로 의미하는 바

저는 발표된 UX 연구와 저 자신의 관찰을 바탕으로 이 매핑을 정리했습니다. 통제된 사용자 연구를 통한 것은 아니므로, 방향성 정보로 간주해 주십시오.

추론 모델(Reasoning Models)에 대한 참고 사항

따로 언급할 가치가 있는 발견점이 있습니다. 바로 추론 모델(DeepSeek-R1, Kimi K2.5, Qwen3.5-397B)은 말하기 전에 생각하기 때문에 TTFT 수치가 부풀려져 있습니다. R1의 800ms는 낭비되는 시간이 아니라 모델이 문제를 처리하는 시간입니다. 하지만 사용자 경험 관점에서 볼 때, 그 시간은