본 기사는 AI 추론 효율성 경쟁을 다루며, n-gram 모델과 지능형 에이전트(AgentX)의 중요성을 강조합니다. 특히 Google TPU v7 및 Vera Rubin 등 하드웨어 발전 동향 속에서, HBM 용량 제한에 대응하기 위한 아키텍처 혁신 방안들을 분석했습니다.
핵심 포인트
n-gram은 초기 단계에서 의미를 빠르게 구성하여 추론 효율을 높인다.
HBM 용량 부족이 n-gram 기술의 핵심적인 등장 동인이다.
모델 설계 시 계층 배치(Layer Placement)가 추론 오버헤드에 큰 영향을 준다.
하이브리드 아키텍처는 성능과 효율성 측면에서 가장 우수하다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
AI 추론 효율성 경쟁: n-gram부터 AgentX까지, TPU v7과 Vera Rubin의 하드웨어 경쟁
분할 세부 내용
제1부 서론 및 오프닝 (0% - 5%)
진행자 소개: Dylan이 청취자들을 《Semi Analysis Weekly》 팟캐스트에 다시 환영하며, 이번 에피소드에서는 InferenceX 팀의 Cam, Bryan, Alec과 함께 여러 주제를 논의할 예정입니다.
이번 주제 개요: n-grams(한 모델 아키텍처), AgentX(지능형 에이전트 코딩을 위한 벤치마크), TPU(Google의 Tensor Processing Unit) 및 기타 떠오르는 주제들을 다룰 것입니다.
팀 상태 업데이트: 지난번 InferenceX 팀을 초청한 지 두 달이 되었으며, 그동안 이들은 열심히 노력해 왔습니다.
제2부 n-gram 기술 상세 분석 및 동기 (5% - 25%)
1. n-gram의 기본 개념과 작동 원리
n-gram 모델의 개념은 이미 오랫동안 존재해 왔으며, 핵심 아이디어는 학습 단계에서 여러 토큰(예: 바이그램, 트라이그램) 조합의 의미를 학습하고 이 의미들을 임베딩 벡터에 저장하는 것입니다.
추론 시에는 이러한 사전 학습된 의미를 해시 테이블을 통해 직접 조회할 수 있어, Transformer 계층에서 순차적으로 의미를 구성하는 과정을 피하고 거의 '무료'로 정보를 얻을 수 있습니다.
DeepSeek의 실험 차트를 보면, MoE(Mixture of Experts) 계층만으로 구성된 모델과 n-gram 계층만으로 구성된 모델을 비교했을 때, 두 가지를 혼합하여 사용할 경우 손실 함수 값이 가장 낮은 지점에 도달하는 것을 볼 수 있으며, 이는 하이브리드 아키텍처가 성능상 가장 우수함을 보여줍니다.
2. n-gram의 설계 동기 및 역사적 배경
동기: 전통적인 모델은 후속 계층에서 단어의 의미 표현을 점진적으로 구성해야 합니다. n-gram은 초기 계층의 은닉 상태와 후기 계층의 은닉 상태 간의 KL 발산(Kullback–Leibler Divergence)이 더 낮다는 것을 보여줌으로써, 모델이 다음 토큰 예측을 더 일찍 수행할 수 있음을 입증하고, 이를 통해 의미를 기억하는 데 사용되는 파라미터를 절약합니다.
협업 설계: DeepSeek은 모델 아키텍처 설계 시 추론 효율성을 고려하는 데 능숙합니다. n-gram 모듈의 입력이 단순히 토큰 ID이기 때문에 다른 모델 부분과 비동기적으로 중첩 실행될 수 있어 대기 시간을 줄일 수 있습니다.
배치 위치에 대한 고려:
n-gram 계층을 모델 앞에 배치하면 모델이 기억을 가장 일찍 도입하는 데 도움을 주지만, 단점은 이때 다른 계산과 중첩할 것이 없어 검색(retrieval)이 완료될 때까지 기다려야 한다는 것입니다.
예를 들어, Qwen 3.8 Flash Next는 n-gram을 두 번째 계층에 배치하여 첫 번째 계층의 시간을 활용해 검색을 수행함으로써 거의 오버헤드가 없습니다. 반면 DeepSeek V4.1 Flash는 이를 첫 번째 계층에 배치했는데, 여전히 중첩 공간은 있지만 이전 모델만큼 효율적이지 않습니다.
3. n-gram과 HBM 제한 및 중국 칩 생태계의 관계
핵심 동인: n-gram 기술의 등장과 확산은 근본적으로 HBM(High Bandwidth Memory) 용량 부족에 의해 제약을 받았습니다. 사람들은 이 한계를 중심으로 혁신하고 있으며, n-gram을 통해 일부 계산과 데이터(예: KV Cache)를 DRAM이나 SSD로 오프로드합니다.
중국 칩의 제한 및 혁신:
중국 칩은 HBM 대역폭 면에서 미국 칩보다 더 엄격한 제약을 받고 있으며, 이는 그들이 창의적인 해결책을 찾도록 강요하고 있습니다.
이러한 제약은 오히려 방대한 혁신을 촉발했습니다. 예를 들어 KV Cache를 지속적으로 압축하고 최적화하여 더 낮은 수준의 메모리에 오프로드하는 것입니다.
n-gram은 이러한 추세의 자연스러운 확장으로 볼 수 있습니다. 일부 계층을 '무료'로 만들고 DRAM에 오프로드할 수 있게 함으로써 HBM의 제약을 우회하기 때문입니다.
결론: 현재 많은 중요한 혁신들이 중국의 연구소에서 나오고 있다고 느낍니다. 왜냐하면 그들은 더 엄격한 하드웨어 조건을 마주하고 있기 때문입니다.
제3부 AgentX: 에이전트 코딩을 위한 새로운 벤치마크 (25% - 45%)
1. AgentX의 제안 배경 및 목표
동기: 기존 AK1K 벤치마크는 현대 AI 애플리케이션(특히 에이전트 코딩)의 실제 작업 부하 패턴을 정확하게 반영하지 못합니다.
목표: 에이전트 코딩 작업 모드를 더 정확하게 대표하는 벤치마크를 개발하고, 이를 모든 신규 모델에 적용하며, 데이터셋과 초기 결과를 발표하는 것입니다.
2. AgentX의 작업 부하 특성
실제 시나리오 모방: AgentX는 에이전트 코딩의 트래픽을 시뮬레이션합니다. 이 시나리오에서 모델은 메시지를 받고, 결과를 출력하고, 도구를 호출하며, 도구 출력을 메시지 흐름에 추가한 후 다시 모델로 전송받습니다. 모델이 무상태(stateless)이기 때문에 KV Cache가 매번 상호작용할 때마다 빠르게 증가합니다.
높은 캐시 적중률: 이러한 작업 모드에서는 이론적인 캐시 적중률이 매우 높습니다(98% 초과). 따라서 시스템의 핵심은 현실에서 이 98%의 캐시 적중률을 구현하는 방법, 즉 KV Cache를 어떻게 효율적으로 저장하고 전송하며 라우팅하느냐에 달려 있습니다.
3. AgentX의 적용 및 발견
시스템 레벨 성능 평가: AgentX는 단순히 칩 수준의 성능만을 테스트하는 것이 아니라, KV Cache가 칩 간 이동하거나 프리필(prefill)과 디코딩 분리 시나리오, 그리고 데이터 오프로드 효과를 포함한 전체 시스템을 테스트합니다.
오프로드의 중요성: 높은 처리량 시나리오(예: 오프라인 배치 추론 또는 강화 학습 롤백)에서는 KV Cache를 DRAM으로 오프로드하는 것이 매우 중요해집니다. 데이터에 따르면, DRAM 오프로드를 통해 20~30%의 추가 캐시 적중률 향상을 달성할 수 있습니다.
수익 계산기: InferenceX의 TCO(총 소유 비용) 모델과 OpenRouter의 API 가격 데이터를 결합하여, 다양한 칩과 구성에서의 수익률을 계산할 수 있습니다. 예를 들어, 특정 매개변수에서 GB300을 사용하여 Kimi K3 모델을 실행하면 약 40.70%의 수익률을 얻을 수 있습니다. 이는 현재 환경에서 오픈소스 추론 모델을 운영하는 것이 마치 '돈 찍어내는 기계'와 같다는 것을 보여줍니다.
4. 데이터의 진실성과 대표성
데이터 출처: AgentX 데이터셋은 SemiAnalysis 모든 직원의 에이전트 코딩 세션을 가로채서 얻었으며, 후처리 과정을 거쳐 실제 서버에서 재현되었습니다.
대표성: 비록 모든 에이전트 코딩 트래픽을 완벽하게 대표할 수는 없지만, 모든 코딩 에이전트의 작업 모드는 본질적으로 유사합니다. 즉, 작업을 받고, 도구를 사용하고, 컨텍스트를 얻고, 반복적으로 순환하는 방식입니다. 따라서 이 데이터셋은 매우 높은 대표성을 가집니다.
제4부 TPU v7: 구글의 개방과 경쟁 (45% - 55%)
1. TPU v7의 성능 구현
최초 공개 구매 가능: TPU v7은 구글이 자사 클라우드 플랫폼을 통해 외부 판매를 시작한 최초의 구매 가능한 가속기입니다.
성능 비교: B200 및 B300과 비교했을 때, TPU v7은 대부분의 경우 파레토 최적 곡선 상에 위치하며, 이는 비용이 가장 낮은 선택지(백만 토큰당 비용)임을 의미합니다.
잠재력 거대: 이것이 TPU의 오픈소스 추론 초기 성능이라는 점을 고려하고, TCO(총 소유 비용)가 매우 경쟁적(약 1.21달러)이라는 점을 감안할 때, 미래에는 소프트웨어 최적화를 통해 성능이 더욱 향상될 것입니다.
2. TPU의 미래 추세 및 과제
외부화 추세: TPU v7의 성숙과 v8의 도래에 따라, 구글은 모든 TPU를 내부 워크로드에만 사용하던 것에서 벗어나 외부로 더 많은 컴퓨팅 파워를 판매할 것입니다.
생태계 개선: 오픈소스 생태계가 크게 개선될 것입니다. 예를 들어, 네이티브 PyTorch 백엔드(torch-tpu)가 곧 출시되어 프로그래밍 모델을 대폭 단순화하고 오픈소스 추론 성능을 즉시 향상시킬 것입니다.
하드웨어 및 소프트웨어 과제:
TPU는 매트릭스 배열(pulsing array)을 기반으로 데이터 이동에 우선순위를 둡니다. 하지만 고정된 크기의 배열은 소규모 모델 처리 시 패딩이 필요하여 계산 낭비를 초래합니다. 과거에는 구글 내부 모델이 이를 위해 최적화했지만, 오픈소스 모델은 그렇지 못했습니다.
이러한 과제에도 불구하고, TPU의 외부화는 중대한 사건이며, AMD와 NVIDIA를 제외한 세 번째 진정한 경쟁자가 될 것입니다.
제5부 Vera Rubin: NVIDIA의 지속적인 진화와 성능 비약 (55% - 65%)
1. Vera Rubin vs. Grace Blackwell: 점진적 개선인가, 대대적인 업그레이드인가?
아키텍처 변화는 작음: GB300에서 VR NVL72로의 전환은 소프트웨어 지원 및 물리적 배포 측면에서 비교적 작은 개선에 그칩니다. 새로운 ARM CPU가 도입되지 않았고, 대규모 Scale-Up 네트워크 변화도 없었으며, 액체 냉각(liquid cooling) 배포 경험 역시 이미 보편화되었습니다.
성능 향상은 두드러짐: 그럼에도 불구하고 성능 향상은 엄청납니다. 중간 수준의 상호작용 구간(예: 100 tokens/s)에서 성능은 이전 세대 대비 3배에 달합니다. 이는 주로 HBM3에서 HBM4로 전환되면서 발생한 약 3배의 메모리 대역폭 증가 덕분입니다.
2. 핵심 기술 하이라이트: LUTB 양자화
LUTB란 무엇인가: Vera Rubin은 LUTB(Look-Up Table B)라는 이름의 하드웨어 가속 경로를 도입했습니다. 이는 3비트 키를 사용하여 8비트 조회표(lookup table) 내의 값을 찾고, 이를 통해 가중치(weight)를 약 3.125비트로 압축합니다.
의미: 이것은 NVIDIA가 특정 양자화(quantization) 방식을 위해 하드웨어 가속 경로를 제공한 최초 사례입니다. 현재 구체적인 적용 사례는 보이지 않지만, 이는 미래 모델 최적화에 새로운 가능성을 열어줍니다.
3. 시장 및 상업적 영향
수익성 우위: Vera Rubin의 더 높은 성능은 수익 계산기(profitability calculator)에서 더 나은 결과를 보여줍니다. 성능이 크게 향상되었음에도 불구하고 가격 책정에는 비례적인 증가가 없었기 때문에, 이는 더욱 매력적인 선택지가 됩니다.
결론: NVIDIA는 다시 한번 선도적 지위를 입증했습니다. Vera Rubin은 추론(inference) 작업에서 Blackwell보다 더 효율적이며, 더 나은 투자 선택지입니다.
제6부 '빠른 토큰'에 대한 논쟁과 미래 전망 (65% - 85%)
1. 찬성 입장 (‘빠른 토큰’ 비관론)
도구 호출 병목 현상: 에이전트(Agent) 작업의 핵심은 도구를 호출하는 것이며, 이 도구 실행 시간(예: 30초)은 토큰 생성 시간보다 훨씬 깁니다. 따라서 아무리 생성 속도가 빠르더라도(예: 1000 tokens/s), 전체 작업 완료 시간이 눈에 띄게 단축되지는 않습니다.
다중 에이전트 병렬 처리: 개인 사용자는 일반적으로 여러 개의 에이전트를 동시에 실행합니다. 개별 작업의 완료 속도는 중요하지 않은데, 왜냐하면 돌아왔을 때 작업은 이미 완료되어 있을 가능성이 높기 때문입니다.
과도한 비용: 초고속 토큰 서비스의 가격은 매우 비쌉니다(예: 백만 출력 토큰당 300달러). 따라서 투자 수익률이 높지 않습니다.
2. 반대 입장 (‘빠른 토큰’ 낙관론)
사용자 경험: 모델 응답이 매우 느릴 때 사용자는 좌절감을 느낍니다. 즉각적인 출력이 가능하다면 특정 시나리오에서의 경험을 크게 향상시킬 수 있습니다.
추론 모델의 필요성: 대량의 추론(inference)을 수행해야 하는 모델(예: 사고 과정(Chain-of-Thought))에게는 빠른 디코딩 속도가 매우 중요합니다.
미래 예측 불가: 1년 전 사용 습관과 지금은 완전히 다릅니다. 미래에 더 빠른 토큰이 필요할지 예측하기 어렵습니다.
3. 절충안 및 미래 예측
전문 분야 분업화: 미래의 에이전트 프레임워크는 서로 다른 작업 요구 사항에 따라 요청을 여러
1. TileRT: 소프트웨어 최적화의 힘
정의: TileRT는 초저지연(ultra-low latency)을 목표로 하는 추론 엔진입니다.
의미: 이 기술은 전용 SRAM 아키텍처(예: Cerebras)에 의존할 필요 없이, 극도의 소프트웨어 최적화만으로 NVIDIA GPU 상에서 매우 높은 상호작용성(예: 500 tokens/s 근접)을 달성할 수 있음을 입증했습니다.
작동 원리: TileRT는 전체 모델을 커버하는 거대한 커널로 볼 수 있습니다. 이는 고상호작용 시나리오에서는 뛰어난 성능을 보이지만, 고처리량(high throughput) 시나리오에서는 그렇지 못합니다 (현재 배치 크기 1만 지원).
2. 칩 스타트업의 생존 방식
수요가 공급을 초과: 현재 시장은 모든 유형의 칩에 대해 막대한 수요를 가지고 있으며, 칩을 생산할 수 있는 회사는 고객을 찾을 수 있습니다.
진정한 도전은 상업 운영: 공급망 관리, 수율 보장, 서버 및 데이터센터 구축 등 이러한 상업적 과제들이 기술적 과제보다 훨씬 극복하기 어렵습니다.
이종 컴퓨팅(Heterogeneous Computing)의 가능성: 미래의 칩 회사들은 서로 다른 워크로드에서 최적의 효율을 얻기 위해 전용 프롬프트(prefill) 칩과 디코딩(decoding) 칩을 설계해야 할 수도 있습니다.
NVIDIA의 인수 증명된 방향: NVIDIA가 Groq를 인수한 것은, 전용 칩이 범용 GPU가 할 수 없는 일을 실제로 할 수 있음을 보여주지만, 핵심은 이를 대규모로 생산하고 배치할 수 있는지 여부입니다.
제8부 요약 및 전망 (95% - 100%)
이번 내용 회고: 이번 프로그램에서는 n-gram, AgentX, Vera Rubin 성능, TPU 성능, DeepSeek V4.1, TileRT를 포함한 InferenceX 관련 기사 6편을 다루었습니다.
가장 흥미로운 점: TPU가 InferenceX 플랫폼에 등장한 것은 가장 고무적인 일입니다. 이는 구글이 강력한 컴퓨팅 파워를 외부로 개방하는 단방향 추세를 의미하기 때문입니다.
미래 계획: InferenceX의 목표는 다양한 칩들이 실제 추론 워크로드에서 보여주는 성능 정보를 제공하는 통합 플랫폼이 되는 것입니다. 향후에는 학습(training) 벤치마크 테스트와 커뮤니티 기능도 추가될 수 있습니다.
일반적인 설명 (Full Text Explanation)
이 글은 AI 추론 분야의 몇 가지 주요 사건들을 논한 기술 팟캐스트의 녹취록입니다.
먼저, 그들은 **'n-gram'**이라는 기술에 대해 이야기했습니다. 이것을 '성어 사전'이라고 상상할 수 있습니다. 이전에는 AI 모델이 단어를 볼 때 처음부터 의미를 이해해야 했습니다. 이제 이 사전을 통해 모델은 흔한 구문(collocation)의 의미를 직접 찾아내 복잡한 사고 과정을 생략하여 속도를 크게 높이고, 값비싼 고속 메모리(HBM)에 대한 의존도를 줄일 수 있습니다. 이 기술은 특히 중국 AI 회사들에게 인기가 있는데, 이는 그들이 고급 칩을 제한적으로 얻게 되면서 이러한 영리한 방법을 강구했기 때문입니다.
다음으로, 그들은 자신들이 개발한 'AgentX' 벤치마크를 소개했습니다. 이전 테스트 방식은 '시험'처럼 오직 칩 자체의 성능만 측정했습니다. 하지만 AgentX는 '실전 훈련'에 가깝습니다. AI가 코드를 작성할 때의 실제 시나리오를 모방합니다: AI는 도구를 반복적으로 호출하고, 정보를 얻고, 코드를 수정하는데, 이 과정에서 엄청난 양의 임시 데이터(KV Cache)가 발생합니다. AgentX 테스트는 시스템 전체가 이러한 데이터를 얼마나 효율적으로 처리하고 저장하며 전송하는지를 측정합니다. 그 결과, 실제 시나리오에서는 시스템만 잘 최적화되면 오픈 소스 AI 모델을 구동하는 것이 마치 '돈 찍어내는 기계'처럼 돈을 벌 수 있다는 사실이 밝혀졌습니다.
그 후, 그들은 두 가지 최신 AI 칩인 구글의 TPU v7과 NVIDIA의 Vera Rubin을 분석했습니다. TPU v7은 구글이 공식적으로 외부 판매하는 최초의 최고 성능 AI 칩이며, 성능이 좋고 가성비가 높으며, 미래 소프트웨어 최적화를 통해 더욱 강력해질 것입니다. Vera Rubin은 NVIDIA의 최신 모델로, 단순한 업그레이드처럼 보이지만 실제 성능 향상이 엄청나며, 특히 처리 속도 면에서 이전 세대보다 3배에 달합니다. 또한 모델 크기를 추가적으로 압축하여 효율성을 높이는 'LUTB'라는 새 기술을 도입했습니다.
마지막으로, 그들은 흥미로운 질문 하나를 논의했습니다: 우리가 정말로 하늘을 날 만큼 빠른 '토큰(token)' 속도를 필요로 할까? 일부 사람들은 불필요하다고 생각합니다. 왜냐하면 AI가 코드를 작성할 때 대부분의 시간은 도구가 실행되는 것을 기다리는 데 쓰이며, 텍스트 생성 속도가 아무리 빨라도 소용이 없고, 게다가 이런 고속 서비스는 매우 비싸기 때문입니다. 반면 다른 일부 사람들은 속도가 빠를수록 좋다고 주장합니다. 특히 복잡한 사고가 필요한 모델에게 더욱 그렇습니다. 결국 모두들 미래의 AI 서비스는 '고속도로'처럼 일반 차선과 전용 차선을 모두 갖추고, 다양한 작업 요구에 따라 유연하게 전환될 것이라는 결론을 내렸습니다.