Nvidia, 역전파 없이 10억 파라미터 LLM 훈련 성공

요약

Nvidia 연구진이 기존 방식과 달리 역전파 (Backpropagation) 나 fp32 가중치를 전혀 사용하지 않고도 10 억 매개변수 규모의 대형 언어 모델을 성공적으로 훈련시켰습니다. 이 새로운 방법은 전통적인 방식보다 속도가 무려 100 배 빠르며, 거대하고 비싼 GPU 에 대한 의존도를 획기적으로 낮춥니다. 지난 10 년간 모든 주요 AI 모델이 따랐던 역전파 기반의 훈련 패러다임을 완전히 뒤집는 혁신적인 성과입니다.

핵심 포인트

• Nvidia 연구진이 역전파 (Backpropagation) 와 fp32 가중치를 사용하지 않고도 10 억 매개변수 LLM 을 성공적으로 훈련했습니다.
• 기존 방식 대비 학습 속도가 무려 100 배 빨라져 효율성이 극대화되었습니다.
• 지난 10 년간 산업 표준이었던 역전파 기반의 거대 GPU 의존적 훈련 방식을 대체할 새로운 패러다임을 제시했습니다.