Nvidia는 단 한 번의 그라디언트도, 역전파도, fp32 가중치도 사용하지 않고 10억 매개변수 LLM을 훈련시켰습니다.

그리고 속도가 100배 빠릅니다.

지난 10년 동안 모든 주요 AI 모델은 정확히 같은 방식으로 훈련되었습니다.

역전파.

이것은 거대하고 비싼 GPU를 필요로 합니다. 복잡한 부동소수점 수학을 필요로 합니다. 그라디언트를 계산하는 데만 막대한 메모리 공간을 필요로 합니다.

이것이 바로 메가 코퍼레이션만이 기초 모델을 훈련할 여유가 있는 이유입니다.

오늘까지는 그랬습니다.

Nvidia와 Oxford가 "Hyperscale에서의 진화 전략"이라는 논문을 발표했습니다.

그들은 역전파를 완전히 우회했습니다.

그라디언트를 계산하는 대신, 그들은 진화 전략(ES)을 사용합니다. AI의 매개변수를 무작위로 변이시키고, 가장 잘 작동하는 것을 보고, 말 그대로 모델을 진화시키는 방법입니다.

과거에는 이것이 10억 매개변수 모델에 대해 계산 비용이 너무 많이 들었습니다.

하지만 그들은 EGGROLL(Evolution Guided General Optimisation via Low-rank Learning)을 발명함으로써 이를 고쳤습니다.

변이를 저차원 행렬로 압축함으로써, 대형 모델의 훈련 속도를 100배 증가시켰습니다.

하지만 그것이 가장 미친 부분은 아닙니다.

역전파를 사용하지 않기 때문에 고정밀 수학이 필요하지 않습니다.

그들은 순수한 정수 데이터 타입으로만 거대한 언어 모델을 성공적으로 훈련시켰습니다. 원시적이고 기본적이며 저수준 수학.

이것은 오픈소스 AI의 경제학을 완전히 재정의합니다.

추론에 사용하는 저렴하고 빠른 정수 데이터 타입으로 직접 모델을 훈련할 수 있다면, 하드웨어 요구 사항이 무너집니다.

수학을 하기 위해 수백만 달러짜리 고급 GPU 클러스터가 더 이상 필요하지 않습니다.