Efficient Pre-Training with Token Superposition

요약

본 논문은 대규모 언어 모델(LLM)의 비효율적인 사전 학습 문제를 해결하기 위해 '토큰 중첩(Token Superposition, TST)'이라는 간단한 플러그인 방법을 제안합니다. TST는 기존의 병렬성, 옵티마이저 등 핵심 구성 요소를 변경하지 않으면서도 FLOPs당 데이터 처리량을 크게 향상시키는 것이 특징입니다. 이 방법은 연속된 토큰들을 하나의 '가방(bag)'으로 결합하여 훈련하고, 표준 훈련으로 복구하는 두 단계로 이루어지며, 실제 실험에서 최대 2.5배의 사전 학습 시간 단축 효과를 입증했습니다.

핵심 포인트

• LLM 사전 학습은 비용이 많이 들고 비효율적이라는 문제점을 해결하기 위한 새로운 접근 방식입니다.
• 제안된 TST(Token Superposition)는 모델 아키텍처나 옵티마이저를 수정하지 않는 플러그인 형태의 방법론입니다.
• TST는 연속 토큰들을 하나의 '가방'으로 결합하고 다중 핫 크로스 엔트로피 목표 함수를 사용하여 효율적으로 훈련합니다.
• 실험 결과, TST는 베이스라인 대비 일관되게 높은 성능을 유지하면서도, 10B 규모 모델에서 최대 2.5배의 사전 학습 시간 단축 효과를 보였습니다.