• 2026년
  AI 추론은 전체 AI 컴퓨팅의 약 3분의 2까지 확대됐으며, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지해 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우함
• 하나의 요청은 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐시, GPU·HBM, CUDA 커널, NVLink·스위치·NIC·Ethernet을 거쳐 응답으로 돌아오는
  15단계 경로를 통과함
• 입력을 병렬 처리하는
  프리필(prefill) 은 연산량과 최초 토큰 지연시간에, 토큰을 하나씩 생성하는 디코드는 메모리 대역폭과 생성 속도·비용에 묶이므로 배치·양자화·추측 디코딩은 서로 다른 병목을 겨냥함
• 지속 배치와 PagedAttention은 GPU 활용률과 동시 처리량을 높이고,
  프롬프트 캐싱은 반복 입력 비용을 최대 90%, 긴 프롬프트의 지연시간을 약 85% 줄이며, 프리필·디코드 분리는 단계별 GPU 풀 운영을 가능하게 함
• 고정된 품질을 제공하는 비용은 연간 중앙값 약
  200배 하락했지만 처리량은 7배 증가했으며, 장기 가치는 HBM 대역폭·NVLink 연결망·광학 부품·전력 같은 물리적 병목과 효율을 고객 고착으로 전환한 추론 플랫폼에 집중됨

추론이 AI 경제의 중심이 된 이유

• 챗봇, 코딩 에이전트, 검색 요약, 이미지 캡션은 모두 학습된 모델을 순전파해 다음 토큰을 반복 예측하는
  토큰 생성 작업이며, 이 과정이 추론임

• Google은 2026년 5월 자사 서비스 전반에서 월
  3.2천조 개 토큰을 처리한다고 공개함

• 연환산하면 약 3.8경 개에 해당함

• 1년 전 월 480조 개보다 7배 늘었으며, 2024년 초에는 월 9.7조 개였음

• 이 수치는 학습이 아니라 사용자 요청에 응답하는 비용에 해당함

• 추론이 AI 컴퓨팅에서 차지하는 비중은 2023년 약 3분의 1에서 2025년 절반, 2026년 약
  3분의 2로 확대됨

• 배포된 모델에서 추론은 요청마다 반복되는 매출원가이며, 생애 컴퓨팅 비용의
  80~90% 를 차지한다는 업계 경험칙이 있음

• 4대 하이퍼스케일러가 제시한 2026년 자본지출은 약
  7,250억 달러로 전년 대비 77% 증가함

• 이 가운데 60% 이상이 칩이 아니라 전력, 냉각, 건물에 투입됨

• 추론 전용 실리콘 시장만 2026년 500억 달러를 넘을 전망임

• 추론 수요를 키우는 두 가지 변화가 있음

• 추론 시간 확장과 에이전트 시스템은 질의당
  10~100배 많은 토큰을 소비함

• 에이전트 워크플로는 재시도, 도구 호출, 컨텍스트 재로딩 때문에 단일 요청보다 작업당 5~25배 비쌈

• 고정된 품질 수준을 제공하는 비용은 2024년 초부터 연간 중앙값 약
  200배 하락했지만, 저렴해진 토큰이 더 많은 작업을 열어 전체 사용량을 늘리는 제본스 역설이 나타남

• 배치, 페이징, 양자화, 추측 디코딩, 분리형 서빙, 네트워크 패브릭은 모두 목표 지연시간에서의
  토큰당 비용을 낮추기 위한 기술임

1~4단계: 텍스트를 배치 가능한 작업으로 변환

1단계: 사용자와 토큰화

• 클라이언트가 HTTPS로 텍스트를 전송하지만 모델은 텍스트가 아니라 정수 ID를 입력으로 받음

• 바이트 수준 BPE 기반
  토크나이저가 문자열을 하위 단어 토큰으로 나누고, 약 10만~20만 개 항목의 어휘에서 각 토큰을 ID에 대응시킴

• 예시의 12,000토큰 RFP와 질문은
  12,022개 정수 ID의 평면 시퀀스가 됨

• 토큰화는 CPU에서 결정론적으로 수행되고 비용도 거의 들지 않지만, 입력·출력 토큰 수가 청구 금액을 결정함

• 2026년 프런티어 모델의 20만~100만 토큰
  컨텍스트 창은 한 번에 입력할 수 있는 문서 크기의 상한임

2단계: API 게이트웨이

• API 게이트웨이는 TLS를 종료하고 요청을 파싱한 뒤 스키마 검증, API 버전 관리, 대략적인 요청 제한, 추적 ID 부여, 최초 사용량 기록을 수행함

• Envoy나 NGINX급 프록시와 웹 애플리케이션 방화벽으로 초당 수백만 건의 요청을 처리하며, 모델 로직은 실행하지 않음

• 지연시간 예산은
  1밀리초 미만이며, 형식 오류·할당량 초과·공격성 요청에 해당하는 트래픽 약 5%를 고가 자원에 도달하기 전에 거부함

3단계: 인증과 과금 등급

• API 키나 OAuth 토큰을 조직에 연결해 요청 제한 등급과 지출 한도를 검사하고, 적용할
  토큰당 가격을 결정함

• 캐시 입력 할인, 우선 처리 경로, 저렴한 일괄 처리 가격의 적용 자격도 이 단계에서 정해짐

• 조직별 데이터 격리와 악용 방지 경계를 설정하면서 익명의 바이트를 계량·과금·격리되는 작업 단위로 바꿈

4단계: 부하 분산

• 일반 부하 분산기는 상태 검사와 실시간 부하 신호를 이용해 동일한 모델 복제본에 요청을 분산함
• LLM에서는 단순 라운드로빈이 동일한 시스템 프롬프트나 문서 접두사를 가진 요청을 서로 다른 복제본으로 보내
  캐시 재사용 기회를 잃게 함
• 최신 AI 부하 분산은 같은 접두사의 KV 캐시가 있는 복제본을 고르는 캐시 인식 방식으로 발전하며, 다음 단계의 추론 라우터와 역할이 겹침
• 전체 장비가 포화되면 요청을 대기시킬지
  429

를 반환할지도 이 단계에서 결정함

5~6단계: 실행 위치와 배치를 결정

5단계: 추론 라우터

• 추론 라우터는 수 밀리초 안에
  모델·실리콘·복제본을 선택함

• 프런티어 70B, 증류된 8B, 추론 모델, 초안·목표 모델 쌍 가운데 서비스 수준 목표를 충족하는 가장 경제적인 구성을 고름

• 8B 모델로 충족할 요청을 70B로 처리하면 마진을 불필요하게 소모함

• 연산 중심 프리필에는 FLOPS가, 메모리 중심 디코드에는 HBM 대역폭이 중요해 한 요청 안에서도 적합한 GPU가 달라질 수 있음

• 동일한 접두사 KV 캐시를 가진 인스턴스로 보내면 12,000토큰 프리필을 거의 무료인 캐시 적중으로 바꿀 수 있음

• 컴파일러와 자동 튜너는 모델·입력 형태·칩에 맞는 GPU 커널을 사전 컴파일하고 조정한 뒤, 런타임에 가장 저렴한 실행 계획을 선택함

• Together AI, Fireworks, Baseten, Modular는 이 계층에서 커널·칩·정밀도 선택을 제품화하고 자체 추론 인프라로 수익화함

6단계: 스케줄러와 지속 배치

• 배치 크기 1에서 H100은 연산보다 메모리에 묶이기 때문에 스트리밍 멀티프로세서 활용률이 약
  30~40% 에 머묾
• 스케줄러는
  지속 배치(continuous batching) 를 통해 매 순전파마다 새 요청을 추가하고 완료된 시퀀스를 제거함
• 고정된 요청 묶음이 끝날 때까지 기다리지 않아 GPU를 연속적으로 채울 수 있음
• vLLM은 이 방식으로 이전 서빙 시스템보다 24배 높은 처리량을 내며, 같은 H100의 단순 PyTorch 루프보다
  **35배 많은 트래픽**을 처리함

7~8단계: KV 캐시와 GPU 메모리 관리

7단계: KV 캐시

• 각 어텐션 계층에서 토큰마다 Key와 Value 벡터가 만들어지며, 다음 토큰은 이전 모든 토큰의 K/V를 참조함

• 이를 매번 다시 계산하면 긴 컨텍스트에서 O(n²) 비용이 발생하므로, 프리필이 12,022개 위치의 K/V를 한 번 계산해
  KV 캐시에 저장함

• 이후 디코드 단계는 새 토큰의 K/V 하나를 추가하고 기존 캐시를 읽음

• KV 캐시는 동시 시퀀스 수와 길이에 따라 커지며, 서빙 중 GPU 메모리를 가장 크고 동적으로 소비하는 구조임

PagedAttention과 단편화 방지

• 시퀀스 길이는 예측하기 어렵기 때문에 연속 메모리 할당은
  60~80%의 메모리를 사용하지 못하게 만들 수 있음

• PagedAttention / vLLM은 운영체제의 가상 메모리처럼 KV 캐시를 고정 크기 페이지로 나눔

• 필요한 만큼 물리 블록을 할당하고 페이지 테이블로 연결하므로 연속 공간이 필요 없음

• 완료된 시퀀스의 페이지는 즉시 반환됨

• 여러 사용자의 시퀀스가 한 GPU를 안전하고 효율적으로 공유할 수 있음

• 이 메모리 관리 방식이 vLLM의 2~4배 처리량 향상을 뒷받침함

프롬프트·접두사 캐싱

• 같은 시스템 프롬프트, 퓨샷 서문, 문서 접두사를 반복하는 요청은 한 번 계산한 KV 캐시를 재사용할 수 있음

• Anthropic은 캐시 읽기를 일반 입력 가격의 0.1배인
  100만 토큰당 0.30달러에 제공하며, 일반 입력은 3달러임

• OpenAI GPT-5.x도 캐시 입력이 0.50달러, 일반 입력이 5달러로 모두
  90% 할인을 적용함

• 긴 프롬프트에서는 지연시간도 약 85% 줄어들며, 예시 RFP의 후속 질문은 12,022토큰 프리필을 반복하지 않아도 됨

8단계: GPU 메모리의 세 구성 요소

• GPU 패키지 메모리에는 고정된
  모델 가중치, 동시 요청과 길이에 따라 증가하는 KV 캐시, 일시적인 활성값·작업 공간이 함께 들어감
• 가중치를 적재한 뒤 남은 공간이 KV 캐시 예산이 되므로, 연산량보다 메모리가 동시 사용자 수를 제한하는 경우가 많음
• 70B 모델은 FP16에서 약 140GB라 80GB H100 두 대가 필요하지만, FP8에서는 약 70GB로 줄어 GPU 한 대에 KV 캐시 공간까지 남길 수 있음
• 양자화로 가중치에서 절약한 메모리가 곧 더 많은 동시 사용자 수로 이어짐

9~10단계: HBM 병목과 GPU 커널 최적화

9단계: 프리필과 디코드의 서로 다른 병목

프리필은 12,022개 입력 토큰을 병렬 처리하는 대규모 행렬 곱셈으로 텐서 코어를 포화시키며, 연산량과 최초 토큰 시간(TTFT)에 묶임
디코드는 다음 토큰 하나를 만들 때마다 전체 모델 가중치와 증가하는 KV 캐시를 HBM에서 읽어야 함

• 배치 크기 1에서 디코드의 연산 집약도는 바이트당 약 1 FLOP으로, 루프라인의 경계인 약 410~590 FLOP/byte보다 훨씬 낮음

• 텐서 코어는 계산보다 메모리를 기다리는 시간이 길어지고,
  HBM 대역폭이 생성 속도와 비용의 상한을 정함

정밀도 축소

• FP16에서 FP8, FP4로 정밀도를 낮추면 토큰마다 읽어야 할 가중치 바이트 수가 줄어 메모리 중심 디코드 처리량이 증가함

• NVIDIA
  NVFP4는 Blackwell 5세대 텐서 코어용 4비트 부동소수점 형식임

• FP8보다 약 2~3배 높은 산술 처리량과 약 1.8배의 메모리 절감을 제공함

• 기준 정확도와의 차이를 약 1% 이내로 유지함

• Hopper 대비 종단 간 추론을 최대 5배 가속하는 데 기여함

10단계: CUDA 커널과 융합

• GPU의 수학 연산은 수천 개 코어에서 실행되는 작은 프로그램인
  커널로 수행됨

• 변환기 연산을 수백 개의 개별 커널로 실행하면 각 커널이 HBM에서 데이터를 읽고 결과를 다시 쓰므로 대역폭 중심 작업에 큰 부담이 됨

• 커널 융합은 여러 연산을 하나로 합쳐 중간 데이터를 온칩 SRAM에 유지하고 HBM 접근을 줄임
  FlashAttention은 타일 단위 어텐션과 온라인 softmax를 이용해 시퀀스 길이에 따른 HBM 읽기·쓰기를 제곱 규모에서 선형 규모로 낮추고 2~4배 가속함

• FlashAttention-3는 Hopper의 비동기 엔진과 FP8을 활용해 H100에서
  840TFLOPS, 최대 성능의 약 85%에 도달함

추측 디코딩

• 디코드에서는 토큰 하나를 생성할 때도 전체 가중치를 읽기 때문에 여러 후보 토큰을 병렬 검증하는 추가 비용이 상대적으로 작음
• 작은
  초안 모델이 다음 K개 토큰을 제안하고 큰 목표 모델이 한 번의 병렬 실행으로 검증해 가장 긴 올바른 접두사를 채택함
• 출력은 일반 디코딩과 수학적으로 같으면서 속도는 2~4배 빨라짐
• EAGLE-3 같은 방식은 초안 토큰의
  75% 이상을 채택함

11~14단계: 모델 내부에 들어온 네트워크

11단계: NVLink 규모 확장 연결망

• 단일 GPU에 들어가지 않는 조 단위 매개변수 모델과 MoE 모델은 여러 GPU에 분할되므로, 모든 계층과 모든 토큰에서 GPU 간 통신이 발생함

• 네트워크는 디코드 루프 바깥의 보조 장치가 아니라
  디코드 루프 내부에서 동작함

• NVLink 5는 GPU당 1.8TB/s를 제공하며 PCIe Gen5 링크의 약 14배임

• GB200 NVL72는 72개 Blackwell GPU와 36개 Grace CPU를 하나의 NVLink 도메인으로 연결함

• 총대역폭은 130TB/s, 통합 메모리는 13.4TB임

• 전력은 약 120kW이며, 조 단위 매개변수 모델에서 H100 클러스터보다 최대 30배 높은 추론 처리량을 제공함

병렬화가 만드는 통신량

• 텐서 병렬화는 각 계층의 행렬 곱셈을 여러 GPU로 나눈 뒤 토큰마다 여러 차례
  all-reduce로 부분 결과를 합쳐야 함

• MoE는 토큰을 여러 GPU에 흩어진 전문가로 보내기 때문에 all-to-all 통신이 주요 병목이 되는 경우가 많음

• DeepSeek 운영 환경은 노드마다 400Gbps NIC 8개를 사용하며, DeepEP로 전문가 간 통신과 계산을 겹쳐 GPU 정지를 줄임

12단계: 스위치와 혼잡 제어

• 규모 확장 도메인의
  NVSwitch는 144개 NVLink 포트와 14.4TB/s 비차단 스위칭을 제공해 72개 GPU가 동시에 최고 속도로 통신하게 함

• 랙을 넘어서는 규모 확장 네트워크에는 NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet, 102.4Tbps의 Broadcom Tomahawk 6 같은 스위치가 사용됨

• AI 네트워크는 같은 번호의 GPU를 같은 레일 스위치에 연결하는
  레일 최적화 토폴로지로 집합 통신의 홉 수를 줄임

• SHARP 같은 패브릭 내부 연산은 스위치에서 축약을 수행함

• 수천 개 GPU가 한 단계를 동시에 마치면 동기화된 인캐스트가 발생하며, 링크 하나의 혼잡도 전체 집합 통신을 멈추게 하므로 적응형 라우팅이 필수임

13단계: NIC와 DPU

• 랙 사이로 이동하는 패킷은 NVIDIA BlueField 같은
  SmartNIC 또는 DPU를 통과함

• RoCE나 InfiniBand verbs는 CPU를 거치지 않고 원격 GPU가 다른 GPU 메모리를 직접 읽게 함

• 링크 속도는 현재 400Gb/s이며
  800Gb/s가 표준화되고 있음

• DPU는 혼잡 제어, 암호화, 스토리지 가상화, 다중 테넌트 격리를 호스트 CPU 대신 처리함

• 레일 최적화 클러스터에서는 GPU마다 전용 NIC를 두기도 하며, DeepSeek은 GPU 8개와 400Gb/s NIC 8개를 짝지음

14단계: Ethernet과 광학 부품

• InfiniBand는 약 12µs 지연시간과 무손실 패브릭을 제공해 AI 클러스터의 전통적인 선택이었고, RoCEv2 Ethernet은 약 510µs로 2순위로 취급됐음

• Ultra Ethernet Consortium은 2025년 6월 AI용 Ethernet 스택을 재구성한
  UEC 1.0을 발표함

• Dell’Oro는 AI 백엔드 네트워크에서 Ethernet이 2027년까지 InfiniBand를 추월할 것으로 전망함

• 추론은 비용에 민감하고 다중 테넌트·기업 환경과 가까워 Ethernet의 가격 구조와 개방형 생태계가 중요함

광학 부품의 비용과 전력

• 광 트랜시버는 네트워크 비용의 약
  60%, 네트워크 전력의 약 45%를 차지함
• 네트워크가 전체 클러스터 비용의 약 15~18%이므로 광학 부품만 전체 비용의 약 10%에 해당함
• 한 스위치의 800G 플러거블 모듈은 합계 500W 이상을 소비해 스위칭 ASIC보다 전력을 더 쓸 수 있음
• AI 광 트랜시버 시장은 2025년 약 165억 달러에서 2026년 약
  260억 달러로 57% 증가할 전망임
  공동 패키지 광학(CPO) 은 광학 장치를 스위치 패키지로 옮겨 1.6T 링크 전력을 약 30W에서 9W로 낮춤
• NVIDIA는 2026년 하반기 출시 예정인 포토닉스 스위치에서 5배의 전력 효율과 10배의 복원력을 제시함
• 단일 GPU보다 큰 모델에서는 NVLink 규모 확장과 Ethernet 규모 확장 사이의 약
  20~40배 대역폭 격차를 관리해야 함

15단계: 응답 스트리밍과 정산

• 마지막 토큰이 생성되면
  역토큰화가 정수 ID를 다시 텍스트로 변환함
• 응답은 NIC, 스위치, 부하 분산기, 게이트웨이를 거슬러 올라가며 일반적으로 서버 전송 이벤트(SSE)로 토큰마다 스트리밍됨
• 사용자는 전체 답변이 완료되기 전 약 0.3초부터 읽기 시작할 수 있어 TTFT가 체감 속도를 크게 좌우함
• 마지막으로 일반 또는 캐시된 입력 토큰과 더 비싼 출력 토큰을 인증 단계에서 정한 등급에 따라 계산해 청구를 마감함

분리형 서빙이라는 추론 운영체제

• 배치, KV 페이징, 프리필·디코드 분리, 하드웨어 선택, 집합 통신은 모두 메모리·네트워크 계층에서 이질적인 작업을 스케줄링해 고가 실리콘의 활용률을 높이는 문제임
• 2026년의
  분리형 서빙(disaggregated serving) 은 연산 중심 프리필과 대역폭 중심 디코드를 별도 GPU 풀로 나눔
• 각 풀을 독립적으로 확장·조정하고, 두 풀 사이에서 KV 캐시를 스트리밍함
• NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake가 이 구조를 채택함

컴파일러 기업이 추론 클라우드가 된 이유

• 컴파일러·커널·자동 튜너 기업은 기술을 라이선스하는 대신 자체 인프라에서 실행하고 토큰을 판매해
  효율 차이를 총마진으로 전환함

• 커널, 배치, 양자화, 추측 디코딩에서 2배 개선하면 GPU당 판매 가능한 토큰도 2배 늘어남

• 모델·입력 형태·칩 조합별 최저비용 커널을 선택하는 자동 튜너는 대규모 GPU 장비에서 직접 수익을 만듦

• Baseten의 연환산 매출은 2025년 12월 약 2억 달러에서 2026년 3월 약
  6억 달러로 증가해 전년 대비 약 1,900% 성장함

• 기업가치 110억~130억 달러로 15억 달러를 조달함

• 기업가치는 5개월 전 50억 달러에서 상승함

• Qualcomm이 Modular를 약
  39억 달러에 인수한 거래는 칩 기업이 하드웨어 독립적 컴파일러로 NVIDIA에 대응하려는 사례임

추론 제공업체를 고르는 기준

지연시간, 비용, 신뢰성

• 지연시간은 답변 시작을 결정하는
  TTFT와 답변 완료 속도를 정하는 토큰 간 지연시간으로 나눠 평가해야 함

• 중앙값보다 사용자가 실제로 겪는 정지를 반영하는 p99 꼬리 지연시간이 중요함

• 일반 GPU 추론은 최초 토큰에 약 400~600ms가 걸림

• Groq와 Cerebras는 Llama-70B급 모델에서 100150ms 미만 TTFT와 초당 1,6002,100개 이상의 출력 속도를 제시하며, 일반 GPU 스택의 약 4~6배임

• 비용은 게시된 단일 가격이 아니라 입력·출력 비율, 캐시 적중률, 일괄 처리 가능 여부를 반영한
  혼합 비용으로 계산해야 함

• 출력은 입력보다 약 4~5배 비싸고 전체 비용을 주로 차지함

• 프롬프트 캐싱은 입력 비용을 50~90%, 일괄 처리 등급은 흔히 약 50% 낮춤

• 2026년 중반 가격은 DeepInfra나 Groq 같은 비용 최적화 공개 모델 엔드포인트의 100만 토큰당 약 0.04~0.20달러부터 프런티어 모델의 수 달러까지 두 자릿수 배율로 차이 남

• Groq의 예시 가격은 입력 0.15달러, 출력 0.60달러임

• 신뢰성은 단순 가동시간 SLA를 넘어 기능적 가용성까지 측정해야 함

• Azure OpenAI는 토큰 생성에 99.9% SLA를 제공함

• 기업은 호출의 99.99%에서 TTFT 200ms 미만 같은 지연시간 SLA도 요구함

• 거부율 급증, 평가 결과를 악화시키는 자동 모델 버전 변경, 부하 시 할당량 제한은 공식 가동시간을 지키면서도 제품을 망가뜨릴 수 있음

• 모델 버전을 고정하고 용량을 협상하며 기능적 가용성을 직접 감시해야 함

프로덕션 적합성을 가르는 일곱 기준

처리량과 요청 제한: 분당 토큰 한도와 순간 처리 여유가 에이전트의 병렬 작업과 확장 규모를 제한함
보안과 규정 준수: SOC 2 Type II, HIPAA, ISO 27001, GDPR은 규제 산업의 기본 조건이며 나중에 추가하기 어려움
데이터 지역성과 비공개 배포: 무보존 보장, VPC·BYOC, 온프레미스 지원이 기업 구매 승인을 좌우함
결정성과 버전 제어: 고정 시드와 고정 체크포인트가 자동 변경으로 인한 평가 결과의 드리프트를 막음
모델 범위와 최신성: 다양한 모델, 신규 공개 가중치의 출시 당일 지원, 미세 조정·LoRA 호스팅이 최신 모델 채택 속도를 결정함
배포 유연성: 서버리스, 전용 인프라, 자체 호스팅 선택지가 비용과 제어 수준의 균형을 정함
이식성: OpenAI 호환 API와 깔끔한 다중 제공업체 라우팅이 장애, 가격 변화, 모델 변경에 대한 대응 수단이 됨

가치가 축적되는 물리적 병목

HBM 대역폭이 디코드 상한을 정하고, NVLink 규모 확장 도메인은 독점성이 있으며, 광학 부품과 전력이 희소한 입력이 됨

• 7,250억 달러 자본지출 가운데 60% 이상이 전력과 건물에 쓰이므로 장기적인 최종 지표는
  와트당 토큰 수임

• 네트워크 시장은 두 방향으로 갈라짐

• 규모 확장 연결망은 폐쇄적이고 방어 가능한 영역으로 남음

• 랙 밖의 규모 확장 네트워크는 Ethernet과 UEC를 중심으로 개방되고 범용화됨

• 차별화 영역은 일반 스위칭보다 NVLink 도메인, 광학·CPO, 혼잡 제어 지식재산임

• 추론 소프트웨어의 마진은 효율 차이, 활용률, 운영 규모의 곱으로 결정되며, 성능을 유통력과 전환 비용으로 바꾼 기업만 가격 하락 속에서도 방어력을 가질 수 있음

• 원시 속도만을 경쟁 우위로 내세우는 사업은 컴파일러 계층과 NVIDIA 무료 도구가 같은 성능을 범용화할 수 있음

• 토큰 경제의 규모 확대가 높은 마진을 자동으로 보장하지 않으며,
  메모리·연결망·광학·전력 병목과 효율을 고객 고착으로 만든 플랫폼이 그 차이를 결정함

댓글과 토론