Nvidia는 단 한 번의 그라디언트도, 역전파도, fp32 가중치도 사용하지 않고 10억 매개변수 LLM을 훈련시켰습니다. 그리고 속도가 100배 빠릅니다. 지난 10년 동안 모든 주요 AI 모델은 정확히 같은 방식으로 훈련되었습니다. 역전파.…
요약
Nvidia와 Oxford는 기존의 역전파(Backpropagation) 방식 대신 진화 전략(Evolutionary Strategy, ES)을 사용하여 10억 매개변수 LLM을 성공적으로 훈련시켰습니다. 특히 'EGGROLL'이라는 새로운 기법을 통해 변이 과정을 저차원 행렬로 압축하여 훈련 속도를 100배 향상시켰습니다. 더 나아가, 이 방법은 고정밀 부동소수점(fp32) 수학 대신 순수한 정수 데이터 타입만으로도 대규모 모델 훈련을 가능하게 하여 AI 개발의 경제적 장벽을 혁신적으로 낮추고 있습니다.
핵심 포인트
- 기존 LLM 훈련 방식(역전파, fp32)은 막대한 GPU 자원과 복잡한 수학 계산을 요구하여 대기업에 한정되어 있었습니다.
- Nvidia와 Oxford는 역전파를 우회하는 진화 전략(ES) 기반의 새로운 훈련 방식을 제시했습니다.
- EGGROLL 기법을 도입하여 변이 과정을 저차원 행렬로 압축함으로써, 10억 매개변수 모델 훈련 속도를 100배 증가시켰습니다.
- 가장 혁신적인 부분은 고정밀 부동소수점 대신 순수한 정수 데이터 타입만으로도 대규모 LLM을 성공적으로 훈련할 수 있게 했다는 점입니다.
Nvidia는 단 한 번의 그라디언트도, 역전파도, fp32 가중치도 사용하지 않고 10억 매개변수 LLM을 훈련시켰습니다.
그리고 속도가 100배 빠릅니다.
지난 10년 동안 모든 주요 AI 모델은 정확히 같은 방식으로 훈련되었습니다.
역전파.
이것은 거대하고 비싼 GPU를 필요로 합니다. 복잡한 부동소수점 수학을 필요로 합니다. 그라디언트를 계산하는 데만 막대한 메모리 공간을 필요로 합니다.
이것이 바로 메가 코퍼레이션만이 기초 모델을 훈련할 여유가 있는 이유입니다.
오늘까지는 그랬습니다.
Nvidia와 Oxford가 "Hyperscale에서의 진화 전략"이라는 논문을 발표했습니다.
그들은 역전파를 완전히 우회했습니다.
그라디언트를 계산하는 대신, 그들은 진화 전략(ES)을 사용합니다. AI의 매개변수를 무작위로 변이시키고, 가장 잘 작동하는 것을 보고, 말 그대로 모델을 진화시키는 방법입니다.
과거에는 이것이 10억 매개변수 모델에 대해 계산 비용이 너무 많이 들었습니다.
하지만 그들은 EGGROLL(Evolution Guided General Optimisation via Low-rank Learning)을 발명함으로써 이를 고쳤습니다.
변이를 저차원 행렬로 압축함으로써, 대형 모델의 훈련 속도를 100배 증가시켰습니다.
하지만 그것이 가장 미친 부분은 아닙니다.
역전파를 사용하지 않기 때문에 고정밀 수학이 필요하지 않습니다.
그들은 순수한 정수 데이터 타입으로만 거대한 언어 모델을 성공적으로 훈련시켰습니다. 원시적이고 기본적이며 저수준 수학.
이것은 오픈소스 AI의 경제학을 완전히 재정의합니다.
추론에 사용하는 저렴하고 빠른 정수 데이터 타입으로 직접 모델을 훈련할 수 있다면, 하드웨어 요구 사항이 무너집니다.
수학을 하기 위해 수백만 달러짜리 고급 GPU 클러스터가 더 이상 필요하지 않습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @HowToAI_ (AI 활용법)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기