효율적인 크로스-스케일 하이퍼파라미터 전이를 통한 확률적 트랜스포머 확장

요약

본 논문은 작은 모델과 데이터셋에서 좋은 성능을 보여왔지만 하이퍼파라미터 확장에 취약했던 확률적 트랜스포머(PT)의 확장 문제를 해결하는 방법을 제시합니다. 연구진은 Maximal Update Parametrization (muP) 기법을 사용하여 PT 파라미터를 재확장하고, 이를 통해 작은 모델에서 최적화된 하이퍼파라미터를 추가 튜닝 없이 대규모 모델로 전이할 수 있게 했습니다. 그 결과, 최대 4억 개의 파라미터까지 성공적으로 확장되었으며, 동일한 파라미터 예산 하에서 표준 트랜스포머보다 우수한 성능을 입증했습니다.

핵심 포인트

• 확률적 트랜스포머(PT)는 작은 규모에서 효과적이지만, 기존에는 대규모 모델로의 확장 및 하이퍼파라미터 전이가 어려웠습니다.
• 연구팀은 Maximal Update Parametrization (muP)을 활용하여 PT 파라미터를 재확장하는 새로운 접근법을 개발했습니다.
• 이 방법을 통해 작은 규모에서 얻은 최적화된 하이퍼파라미터를 추가 튜닝 없이 대규모 모델(최대 4억 개 파라미터)로 성공적으로 전이할 수 있었습니다.
• 실험 결과, PT는 동일한 파라미터 예산 조건에서 표준 트랜스포머보다 Masked Language Modeling (MLM) 작업에서 일관되게 높은 성능을 보였습니다.