Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 아키텍처 개입을 통해 사전 학습 시 스케일링 지수를 수정하여, 계산량 증가에 따른 성능의 기하급수적 개선이 가능함을 제시합니다. 특히 루프형 트랜스포머와 모델 성장을 결합한 아키텍처가 GPT-3 13B 수준의 성능을 훨씬 적은 비용으로 달성할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스케일링 법칙(Scaling laws)은 계산량 증가에 따라 손실(loss)이 어떻게 감소하는지 예측합니다. 우리는 통념과는 달리, 아키텍처 개입(architectural interventions)이 사전 학습(pre-training) 시 스케일링 지수(scaling exponents)를 수정하여, 계산량 증가에 따른 성능의 기하급수적 개선을 가져올 수 있음을 보여줍니다. 기준점으로 루프형 트랜스포머(looped transformers)의 아키텍처 공식화(architectural formulation)를 고려합니다. 비록 일반적으로 이런 방식으로 사용되지는 않지만, 루핑(looping), 또는 재귀 깊이(recursive depth)라고도 알려진 것은 훈련 중 루프 수를 늘림으로써 모델 성장을 위한 메커니즘을 제공합니다. 공유 가중치 유무와 관계없이 모델 성장(Model growth)은 스케일링 지수에 가장 큰 변화를 가져옵니다. 특히, 7.4B 모델 성장 아키텍처는 CORE에서 GPT-3 13B에 필적하면서도 약 $20 imes$ 적은 계산량으로 구현할 수 있으며, 규모가 커질수록 증가하는 계산 효율성 이득을 가집니다. 게다가, 바닐라 트랜스포머(vanilla transformer)에 단순히 경계 연산자(boundary operator)를 사용하는 것만으로도 정규화하고 초기 블록을 주입하여, 비록 정도는 덜하지만 증가하는 계산 효율성 이득을 제공합니다. 데이터가 제한적이고 다중 에포크(multi-epoch) 환경에서는 표준 루핑이 유용한 정규화 효과를 가지며, 규모에 따라 루프 수를 늘리는 것이 계산적으로 최적임(compute-optimal)을 발견했습니다. 이러한 결과는 계산 깊이(computational depth)의 관점에서 이해될 수 있습니다: 주어진 계산 예산으로 트랜스포머의 사용 가능한 깊이를 증가시키고자 하며, 이는 규모가 커질수록 증가하는 효율성 이득으로 이어질 수 있습니다.