지난달은 (zeroth-order) 최적화 역사상 가장 큰 달이었던 것 같습니다.

요약

새로운 'Noise speedrun'을 공개하며 트랜스포머 사전 학습 시간을 기존 대비 4,000배 단축하는 혁신적인 성과를 발표했습니다. 이 기술은 역전파(backprop) 없이도 매우 효율적으로 모델 사전 학습이 가능함을 입증했습니다. 향후 과제는 데이터셋 크기를 늘려 모델 스케일링을 확장하는 것입니다.

핵심 포인트

• Noise speedrun으로 트랜스포머 사전 학습 시간을 4,000배 단축함.
• 역전파 없이도 효율적인 대규모 모델 사전 학습이 가능해짐.
• Noise 자체의 계산 효율성이 기존 기술 대비 최대 10,000배 높음.
• 다음 목표는 데이터셋 크기를 늘려 스케일링 문제를 해결하는 것.