NVIDIA가 텐서 속도의 50%를 꺼둔 수백만 개의 3090을 판매했다. 빠진 부분이 아니다. 의도적으로 꺼뒀다.

요약

본 기사는 NVIDIA가 3090 GPU의 텐서 연산 속도를 의도적으로 절반으로 제한하여 판매하는 현상을 지적합니다. 저자는 커널 모듈 적용만으로 BF16 텐서 파이프라인 성능을 크게 향상시키는 방법을 제시했습니다. 이는 특히 대규모 행렬 곱셈에 의존하는 AI 모델의 성능 최적화와 관련됩니다.

핵심 포인트

• NVIDIA는 3090의 텐서 속도를 의도적으로 절반으로 제한함.
• 커널 모듈 적용을 통해 BF16 성능을 크게 향상시킬 수 있음 (예: 82 -> 155 TFLOPS).
• 이러한 성능 제한은 게이밍 카드와 워크스테이션 판매 전략과 연관됨.
• 확산 모델 등 BF16 연산에 의존하는 AI 분야가 주요 타겟임.