면책 조항: 모든 단락은 사람이 작성했습니다. 표는 사람의 감독을 받아 AI가 생성했습니다. Enter, GPT-6 Astra. 이 정보에 따르면 그것은 루프 트랜스포머 아키텍처를 사용합니다. 이는 GPT-5.6보다 상당한 개선입니다. 이것이 사람들이 우리가 AGI 시대에 진입했다고 말하는 모델입니다. LLM에는 가중치(weights)라고 불리는 데이터 계층들이 있습니다. 추론(inference) 중에 각 계층은 한 번 계산됩니다. 따라서 HBM 메모리에서 칩으로 가중치를 이동시키는 것이 주요 병목 현상인데, 토큰 하나를 생성하려면 전체 계층을 칩 안으로 옮기고, 한 번 계산하고, 밖으로 옮긴 다음, 다음 계층을 안으로 옮겨야 하기 때문입니다. 그러므로 메모리 대역폭(memory bandwidth)이 추론의 #1 병목 현상이었습니다. 루프 트랜스포머는 이를 변경합니다. 하나의 계층이 한 번 계산되는 대신, 동일한 계층을 여러 번 계산하여 메모리 대역폭에 크게 의존하지 않으면서 모델 지능을 증가시킵니다. 대역폭은 여전히 중요하지만 예전만큼 중요하지 않습니다. 그리고 루프 트랜스포머 아키텍처가 동일한 계층을 여러 번 계산하는 컴퓨팅을 실행함으로써 지능을 높일 수 있기 때문에, 같은 수준의 지능을 달성하기 위해 모델 파라미터 수를 크게 늘릴 필요가 없습니다. 예를 들어, 250GB의 트릴리언(trillion) 파라미터 루프 트랜스포머 모델은 오늘날의 1조 파라미터 모델만큼 똑똑할 수 있습니다. 요약하자면, 루프 트랜스포머 아키텍처는 메모리 대역폭과 용량에 대한 병목 현상을 줄이고 컴퓨팅의 필요성을 증가시킵니다. 여기 승자와 패자가 있습니다.

하드웨어 영역 | 루프 트랜스포머 영향 | 승자 | 패자 / 압력
AI 컴퓨팅 ↑↑↑ | NVIDIA, AMD, Google TPU, TSMC
저(低) 컴퓨팅 아키텍처 | HBM 용량 ↓ per FLOP
컴퓨트 벤더사, 하이퍼스케일러 | SK하이닉스, Micron, 삼성
HBM 대역폭 ↓ per FLOP
컴퓨트 벤더사, 하이퍼스케일러 | SK하이닉스, Micron, 삼성
온칩 SRAM / 캐시 ↑↑↑ | TSMC, 커스텀 AI ASIC, SRAM IP 공급업체, 삼성, Intel, Cerebras
HBM 상대적으로 중요도 ↓ | GPU-to-GPU 대역폭 ↓
하이퍼스케일러 | NVIDIA NVLink/NVSwitch, Broadcom/Marvell 네트워킹
동적 / 적응형 컴퓨팅 ↑↑ | NVIDIA CUDA, Google TPU/XLA, AMD ROCm
유연성이 낮은 가속기 스택 | 고급 패키징으로의 전환 (Compute + Cache)
HBM 중심 패키징 상대적으로 중요도 ↓ | 총 가속기 수요는 아마도 ↑
모든 AI 하드웨어 벤더사 | Michael Burry, Reddit r/stocks
전력 + 냉각 ↑ | Vertiv, Eaton, Schneider
명확한 것은 없음
또한, 루프 트랜스포머 아키텍처가 '쓰디한 교훈(The Bitter Lesson)'이 옳다는 것을 계속 입증하고 있음을 주목하십시오. https://en.wikipedia.org/wiki/Bitter_lesson submitted by /u/Wonderful-Sail-1126 [link] [comments]