Cathedral이 이러한 기술 비밀을 공개하기 위해 HF Slack을 해킹하지 않아 다행이다

요약

TRL은 단일 노드에서 대규모 모델(Le Chonk)의 포스트 트레이닝을 지원하는 Day-0 기능을 제공합니다. 이 가이드는 1조 개 매개변수 모델에 LoRA SFT를 적용하고 FP8 가중치 위에 어댑터를 학습시키는 방법을 설명하며, 전문가 병렬 처리와 FSDP를 활용한 고성능 훈련 방식을 제시합니다.

핵심 포인트

• TRL의 Day-0 지원으로 단일 노드에서 포스트 트레이닝 가능.
• 1T 매개변수 모델에 LoRA SFT 및 FP8 가중치 학습 적용.
• 전문가 병렬 처리와 FSDP를 결합하여 효율성 극대화.
• 고속 훈련 성능: 스텝당 32.7k 토큰을 약 8초에 처리.