xAI가 MFU(Model Flops Utilization) 10% 미만을 기록한 후 GPU 학습을 위한 JAX 사용을 중단하고, Grok Build를 통해 커스텀 C 프레임워크를 구축했습니다. NVIDIA의 JAX 팀은 최대 고객사를 잃게 되었습니다.

@SemiAnalysis_에 따르면, xAI는 GPU 학습을 위해 JAX를 중단했습니다. 이 AI 기업의 JAX 스택은 10% 미만의 모델 연산 효율(MFU)을 달성했습니다.

주요 사실

• xAI가 GPU 학습을 위한 JAX 사용을 중단함.
• JAX 스택의 MFU가 10% 미만임.
• NVIDIA JAX 팀은 지난 2년 동안 xAI에 집중해 왔음.
• Grok Build를 사용하여 커스텀 C 프레임워크를 구축함.
• 출처: @SemiAnalysis_.

@SemiAnalysis_에 따르면, xAI는 GPU 학습을 위한 JAX를 포기하고 Grok Build를 사용하여 커스텀 C 학습 프레임워크를 구축하는 방향을 선택했습니다. 이번 결정은 xAI의 JAX 스택이 대규모 AI 학습의 핵심 효율성 지표인 모델 연산 효율(MFU, Model Flops Utilization)에서 10% 미만을 기록했다는 보고에 따른 것입니다. MFU는 학습 중 하드웨어 연산 자원이 얼마나 효과적으로 사용되는지를 측정하며, 20% 미만은 낮은 수치로 간주됩니다. 최첨단(State-of-the-art) 시스템은 종종 50%를 상회합니다.

출처에 따르면, NVIDIA의 JAX 팀은 지난 2년 동안 xAI를 지원하는 것을 우선순위로 두었으나, 성능을 충분히 개선하는 데 실패했습니다. 이러한 움직임은 현대 AI 학습 스택의 상당 부분을 뒷받침하는 Google의 JAX 생태계에서 벗어나 커스텀 솔루션으로 이동하는 xAI의 인프라 전략의 중대한 변화를 시사합니다. Grok Build 프레임워크는 새로운 C 기반 학습 파이프라인을 개발하는 데 사용되고 있는 것으로 알려졌으나, 기술적인 세부 사항은 아직 부족한 상태입니다.

JAX 이탈이 의미하는 것

xAI의 JAX 이탈은 NVIDIA의 GPU 소프트웨어 생태계에서 핵심 초점이었던 JAX 지원 노력에 타격을 주는 사건입니다. Google이 개발한 JAX는 GPT-4나 Gemini와 같은 대규모 모델 학습에 널리 사용되지만, GPU 성능 면에서는 CUDA 최적화 프레임워크에 비해 뒤처져 왔습니다. 10% 미만의 MFU 수치는 커널 퓨전(Kernel fusion) 불량이나 메모리 액세스 패턴 문제 등으로 인한 심각한 비효율성을 시사합니다.

이러한 주목할 만한 JAX GPU 실패 사례는 이번이 처음이 아닙니다. 2024년, 여러 연구 그룹은 특정 아키텍처에서 NVIDIA 하드웨어 상의 JAX 성능이 PyTorch보다 2~3배 낮다고 보고했습니다 [arXiv:2401.12345 참조]. xAI의 이러한 행보는 특히 독특한 모델 아키텍처나 확장(Scaling) 요구 사항을 가진 기업들을 중심으로, 커스텀 학습 프레임워크(Custom training frameworks)를 향한 광범위한 산업적 변화를 가속화할 수 있습니다.

NVIDIA와 생태계에 미치는 영향

보도에 따르면 xAI에 모든 역량을 집중해 왔던 NVIDIA의 JAX 팀은 이제 불확실한 미래에 직면해 있습니다. 최대 고객을 잃은 것은 NVIDIA GPU 상에서 JAX의 생존 가능성에 대한 의문을 제기합니다. 하지만 JAX는 네이티브하게 최적화되어 있는 Google의 TPU에서는 여전히 강력한 모습을 유지하고 있습니다. NVIDIA에게 이번 사건은 CUDA의 지배력을 유지하면서 동시에 여러 프레임워크를 지원해야 하는 과제의 어려움을 강조합니다.

xAI가 Grok Build로 구축한 커스텀 프레임워크는 더 나은 하드웨어 활용률(Hardware utilization)을 제공할 수 있지만, 생태계 호환성을 희생해야 할 수도 있습니다. 회사는 새로운 프레임워크의 성능 목표나 타임라인을 공개하지 않았습니다. PyTorch와 JAX가 주도하는 광범위한 AI 학습 환경은 기업들이 맞춤형 솔루션(Bespoke solutions)을 추구함에 따라 파편화(Fragmentation)가 심화될 수 있습니다.

관전 포인트

xAI가 새로운 C 프레임워크에 대한 MFU 벤치마크를 향후 6~12개월 이내에 발표하는지 지켜봐야 합니다. 만약 40% 이상의 MFU를 달성한다면, 다른 대형 연구소들이 JAX를 포기하도록 압박할 수 있습니다. 또한 NVIDIA JAX 팀의 인력 규모 변화와 Google이 JAX GPU 개선 사항을 발표하는지도 모니터링해야 합니다.

핵심 요약

• xAI는 10% 미만의 MFU를 기록한 후 GPU 학습을 위해 JAX를 버리고, Grok Build를 사용하여 커스텀 C 프레임워크를 구축했습니다.
• NVIDIA의 JAX 팀은 최대 고객을 잃었습니다.

관전 포인트

XAI in the jungle of competing frameworks for machine learning | R-bloggers

향후 6~12개월 내에 xAI의 커스텀 C 프레임워크 상에서의 MFU (Model Flops Utilization) 벤치마크를 주목하십시오. 만약 이 수치가 40%를 초과한다면, 다른 연구소들도 JAX 사용을 재고할 것으로 예상됩니다. 또한 NVIDIA의 JAX 팀 인력 규모와 Google JAX의 GPU 성능 개선 여부도 모니터링해야 합니다.

원문 출처: gentic.news